Buscador de imágenes Giphy se considera a sí mismo como una "forma divertida y segura" de buscar y crear GIF animados. Pero a pesar de su prohibición del contenido ilícito, TechCrunch ha aprendido que el sitio está lleno de imágenes de autolesiones y abuso sexual infantil.
Un nuevo informe de la empresa israelí en línea de protección infantil L1ght, anteriormente AntiToxin Technologies, ha descubierto una gran cantidad de contenido tóxico oculto dentro de la comunidad popular para compartir GIF, incluido contenido ilegal de abuso infantil, representaciones de violación y otras imágenes tóxicas asociadas con temas como el blanco supremacía y discurso de odio. El informe, compartido exclusivamente con TechCrunch, también mostró contenido que alienta a los espectadores a perder peso de forma poco saludable y a desordenar los trastornos alimentarios.
TechCrunch verificó algunos de los hallazgos de la compañía buscando en el sitio usando ciertas palabras clave. (No buscamos términos que pudieran haber devuelto contenido de abuso sexual infantil ya que hacerlo sería ilegal). Aunque Giphy bloquea muchos hashtags y términos de búsqueda para que no devuelvan resultados, los motores de búsqueda como Google y Bing aún almacenan imágenes en caché con ciertas palabras clave.
Cuando probamos usando varias palabras asociadas con contenido ilícito, Giphy a veces mostraba contenido de sus propios resultados. Cuando no devolvió ningún material prohibido, los motores de búsqueda a menudo arrojaron una serie de resultados prohibidos.
L1ght desarrolla soluciones avanzadas para combatir la toxicidad en línea. A través de sus pruebas, una búsqueda de material ilícito arrojó 195 imágenes solo en la primera página de búsqueda. El equipo de L1ght luego siguió las etiquetas de un elemento al siguiente, descubriendo redes de contenido ilegal o tóxico en el camino. Las etiquetas en sí mismas a menudo eran inocuas para ayudar a los usuarios a escapar de la detección, pero sirvieron como puerta de entrada al material tóxico.
A pesar de la prohibición del contenido autolesivo, los investigadores encontraron numerosas palabras clave y términos de búsqueda para encontrar el contenido prohibido. Hemos borrado esta imagen gráfica. (Imagen: TechCrunch)
Se dice que muchos de los contenidos más extremos, incluidas las imágenes de abuso sexual infantil, se etiquetaron con palabras clave asociadas con sitios conocidos de explotación infantil.
No publicamos los hashtags, los términos de búsqueda o los sitios utilizados para acceder al contenido, pero transmitimos la información al Centro Nacional para Niños Desaparecidos y Explotados, una organización nacional sin fines de lucro establecida por el Congreso para combatir la explotación infantil.
Simon Gibson, el jefe de audiencia de Giphy, le dijo a TechCrunch que la seguridad del contenido era de "suma importancia" para la compañía y que emplea "protocolos de moderación extensivos". Dijo que cuando se identifica contenido ilegal, la compañía trabaja con las autoridades para informar y eliminarlo
También expresó su frustración porque L1ght no había contactado a Giphy con las acusaciones primero. L1ght dijo que Giphy ya es consciente de sus problemas de moderación de contenido.
Gibson dijo que el sistema de moderación de Giphy "aprovecha una combinación de tecnologías de imágenes y validación humana", lo que implica que los usuarios tienen que "solicitar la verificación para que su contenido aparezca en nuestro índice de búsqueda". El contenido es "luego revisado por un grupo humano de crowdsourcing". moderadores ", dijo. "Si no se alcanza un consenso para la calificación entre los moderadores, o si hay poca confianza en la decisión del moderador, el contenido se escala al equipo interno de confianza y seguridad de Giphy para una revisión adicional", dijo.
"Giphy también realiza búsquedas proactivas de palabras clave, dentro y fuera de nuestro índice de búsqueda, con el fin de encontrar y eliminar contenido que está en contra de nuestras políticas", dijo Gibson.
Los investigadores de L1ght utilizaron su motor de inteligencia artificial patentado para descubrir contenido ilegal y otro contenido ofensivo. Usando esa plataforma, los investigadores pueden encontrar otro contenido relacionado, lo que les permite encontrar vastas memorias caché de contenido ilegal o prohibido que de otra manera y en su mayor parte pasarían desapercibidas.
Este tipo de contenido tóxico afecta a las plataformas en línea, pero los algoritmos solo juegan un papel importante. Más compañías tecnológicas están encontrando que la moderación humana es crítica para mantener limpios sus sitios. Pero gran parte del enfoque hasta la fecha ha estado en los jugadores más grandes en el espacio, como Facebook, Instagram, YouTube y Twitter.
Facebook, por ejemplo, ha sido criticado rutinariamente por moderación de outsourcing a equipos de contratistas mal pagados que a menudo luchan para hacer frente a las cosas que tienen que ver, incluso experimentando síntomas similares a los traumáticos como resultado de su trabajo. Mientras tanto, se descubrió que el YouTube de Google de este año se convirtió en un paraíso para las redes de abuso sexual en línea, donde los delincuentes habían utilizado la sección de comentarios para guiarse mutuamente a otros videos para mirar mientras hacían comentarios depredadores.
Giphy y otras plataformas más pequeñas se han mantenido fuera del centro de atención durante los últimos años. Pero los nuevos hallazgos de L1ght indican que ninguna plataforma es inmune a este tipo de problemas.
L1ght dice que los usuarios de Giphy que compartan este tipo de contenido harían que sus cuentas fueran privadas para que no pudieran ser buscados fácilmente por personas ajenas o por la propia empresa. Pero incluso en el caso de cuentas privadas, el contenido abusivo estaba siendo indexado por algunos motores de búsqueda, como Google, Bing y Yandex, lo que facilitaba su búsqueda. La empresa también descubrió que los pedófilos estaban usando Giphy como medio para difundir sus materiales en línea, incluida la comunicación entre ellos y el intercambio de materiales. Y no solo usaban el sistema de etiquetado de Giphy para comunicarse, sino que también usaban técnicas más avanzadas como etiquetas colocadas en imágenes a través de superposiciones de texto.
Este mismo proceso se utilizó en otras comunidades, incluidas las asociadas con la supremacía blanca, el acoso escolar, el abuso infantil y más.
Esta no es la primera vez que Giphy se enfrenta a críticas por el contenido de su sitio. El año pasado, un informe de The Verge describió las dificultades de la compañía para defenderse del contenido ilegal y prohibido. El año pasado, la compañía fue expulsada de Instagram por dejar pasar contenido racista.
Giphy está lejos de estar solo, pero es el último ejemplo de empresas que no lo hacen bien. A principios de este año y siguiendo un consejo, TechCrunch le encargó a AntiToxin que investigara el problema de las imágenes de abuso sexual infantil en el motor de búsqueda Bing de Microsoft. Bajo estrecha supervisión de las autoridades israelíes, la compañía encontró docenas de imágenes ilegales en los resultados de la búsqueda de ciertas palabras clave. Cuando The New York Times siguió el informe de TechCrunch la semana pasada, sus reporteros descubrieron que Bing había hecho poco en los meses que habían pasado para evitar que el contenido de abuso sexual infantil apareciera en sus resultados de búsqueda.
Fue una reprensión condenatoria de los esfuerzos de la compañía para combatir el abuso infantil en sus resultados de búsqueda, a pesar de ser pionero en su herramienta de detección de fotos PhotoDNA, que el gigante del software construyó hace una década para identificar imágenes ilegales basadas en una enorme base de datos de hashes de contenido conocido de abuso infantil. .
Gibson de Giphy dijo que la compañía fue "recientemente aprobada" para usar PhotoDNA de Microsoft, pero no dijo si estaba actualmente en uso.
Donde algunas de las compañías tecnológicas más ricas, más grandes y con más recursos no están limitando preventivamente la exposición de sus plataformas a contenido ilegal, las nuevas empresas están llenando los vacíos de moderación de contenido.
L1ght, que tiene un interés comercial en este espacio, se fundó hace un año para ayudar a combatir a los depredadores en línea, la intimidación, el discurso de odio, las estafas y más.
La compañía fue iniciada por el ex presidente ejecutivo de Amobee, Zohar Levkovitz, y el experto en ciberseguridad Ron Porat, anteriormente fundador del bloqueador de anuncios Shine, luego de que el propio hijo de Porat experimentara abuso en línea en el juego en línea Minecraft. La compañía se dio cuenta de que el problema con estas plataformas era algo que había superado la capacidad de los usuarios de protegerse a sí mismos, y que la tecnología necesitaba ayudarlos.
El negocio de L1ght consiste en implementar su tecnología de manera similar a como lo ha hecho aquí con Giphy, para identificar, analizar y predecir la toxicidad en línea con una precisión casi en tiempo real.
Source link