El motor de búsqueda de imágenes Giphy se anuncia a sí mismo como una “forma divertida y segura” de buscar y crear GIF animados. Pero a pesar de su prohibición En cuanto al contenido ilícito, el sitio está repleto de imágenes de autolesiones y abuso sexual infantil, según descubrió TechCrunch.
Un nuevo informe de la empresa israelí de protección infantil en línea L1ght, anteriormente AntiToxin Technologies, ha descubierto una gran cantidad de contenido tóxico que se esconde dentro de la popular comunidad de intercambio de GIF, incluido contenido ilegal de abuso infantil, representaciones de violaciones y otras imágenes tóxicas asociadas con temas como la supremacía blanca. y discurso de odio. El informe, compartido exclusivamente con TechCrunch, también mostró contenido que alentaba a los espectadores a perder peso de manera poco saludable y exaltaba los trastornos alimentarios.
TechCrunch verificó algunos de los hallazgos de la compañía al buscar en el sitio usando ciertas palabras clave. (No buscamos términos que pudieran haber arrojado contenido de abuso sexual infantil, ya que hacerlo sería ilegal). Aunque Giphy bloquea muchos hashtags y términos de búsqueda para que no arrojen resultados, los motores de búsqueda como Google y Bing aún almacenan imágenes con ciertas palabras clave.
Cuando probamos usando varias palabras asociadas con contenido ilícito, Giphy a veces mostraba contenido de sus propios resultados. Cuando no devolvía ningún material prohibido, los motores de búsqueda a menudo devolvían una serie de posibles resultados prohibidos.
L1ght desarrolla soluciones avanzadas para combatir la toxicidad en línea. A través de sus pruebas, una búsqueda de material ilícito arrojó 195 imágenes solo en la primera página de búsqueda. Luego, el equipo de L1ght siguió las etiquetas de un elemento al siguiente, descubriendo redes de contenido ilegal o tóxico en el camino. Las etiquetas en sí mismas a menudo eran inocuas para ayudar a los usuarios a escapar de la detección, pero servían como puerta de entrada al material tóxico.
A pesar de la prohibición del contenido de autolesiones, los investigadores encontraron numerosas palabras clave y términos de búsqueda para encontrar el contenido prohibido. Hemos difuminado esta imagen gráfica. (Imagen: TechCrunch)
Se dice que muchos de los contenidos más extremos, incluidas las imágenes de abuso sexual infantil, se etiquetaron con palabras clave asociadas con sitios conocidos de explotación infantil.
No publicamos los hashtags, los términos de búsqueda o los sitios utilizados para acceder al contenido, pero transmitimos la información al Centro Nacional para Niños Desaparecidos y Explotados, una organización nacional sin fines de lucro establecida por el Congreso para luchar contra la explotación infantil.
Simon Gibson, jefe de audiencia de Giphy, le dijo a TechCrunch que la seguridad del contenido era de “la mayor importancia” para la empresa y que emplea “amplios protocolos de moderación”. Dijo que cuando se identifica contenido ilegal, la empresa trabaja con las autoridades para denunciarlo y eliminarlo.
También expresó su frustración porque L1ght no se había puesto en contacto con Giphy con las acusaciones primero. L1ght dijo que Giphy ya es consciente de sus problemas de moderación de contenido.
Gibson dijo que el sistema de moderación de Giphy “aprovecha una combinación de tecnologías de imágenes y validación humana”, lo que implica que los usuarios tengan que “solicitar verificación para que su contenido aparezca en nuestro índice de búsqueda”. El contenido es “luego revisado por un grupo de moderadores humanos de colaboración colectiva”, dijo. “Si no se logra un consenso para la calificación entre los moderadores, o si hay poca confianza en la decisión del moderador, el contenido se remite al equipo interno de confianza y seguridad de Giphy para una revisión adicional”, dijo.
“Giphy también realiza búsquedas proactivas de palabras clave, dentro y fuera de nuestro índice de búsqueda, para encontrar y eliminar contenido que va en contra de nuestras políticas”, dijo Gibson.
Los investigadores de L1ght utilizaron su motor de inteligencia artificial patentado para descubrir contenido ilegal y ofensivo. Usando esa plataforma, los investigadores pueden encontrar otro contenido relacionado, lo que les permite encontrar grandes cachés de contenido ilegal o prohibido que de otro modo, y en su mayor parte, pasaría desapercibido.
Este tipo de contenido tóxico plaga las plataformas en línea, pero los algoritmos solo juegan un papel. Más empresas de tecnología están descubriendo que la moderación humana es fundamental para mantener limpios sus sitios. Pero gran parte del enfoque hasta la fecha ha estado en los jugadores más grandes del espacio, como Facebook, Instagram, YouTube y Twitter.
Facebook, por ejemplo, ha sido rutinariamente criticado subcontratar la moderación a equipos de contratistas mal pagados que a menudo luchan para hacer frente al tipo de cosas que tienen que ver, incluso experimentar síntomas similares al estrés postraumático como resultado de su trabajo. Mientras tanto, se descubrió que YouTube de Google se convirtió este año en un refugio para las redes de abuso sexual en línea, donde los delincuentes habían utilizado la sección de comentarios para guiarse unos a otros a ver otros videos mientras hacían comentarios depredadores.
Giphy y otras plataformas más pequeñas se han mantenido en gran medida fuera del centro de atención durante los últimos años. Pero los nuevos hallazgos de L1ght indican que ninguna plataforma es inmune a este tipo de problemas.
L1ght dice que los usuarios de Giphy que comparten este tipo de contenido harían que sus cuentas fueran privadas para que personas ajenas o la propia empresa no pudieran buscarlas fácilmente. Pero incluso en el caso de las cuentas privadas, el contenido abusivo estaba siendo indexado por algunos motores de búsqueda, como Google, Bing y Yandex, lo que facilitaba su búsqueda. La firma también descubrió que los pedófilos estaban usando Giphy como medio para difundir sus materiales en línea, incluida la comunicación entre ellos y el intercambio de materiales. Y no solo usaban el sistema de etiquetado de Giphy para comunicarse, sino que también usaban técnicas más avanzadas, como etiquetas colocadas en imágenes a través de superposiciones de texto.
Este mismo proceso se utilizó en otras comunidades, incluidas las asociadas con la supremacía blanca, la intimidación, el abuso infantil y más.
Esta no es la primera vez que Giphy enfrenta críticas por el contenido de su sitio. El año pasado un informe de The Verge describió las luchas de la compañía para defenderse del contenido ilegal y prohibido. El año pasado, la empresa fue expulsada de Instagram por dejar pasar contenido racista.
Giphy está lejos de ser el único, pero es el último ejemplo de empresas que no lo hacen bien. A principios de este año y siguiendo un consejo, TechCrunch encargó a AntiToxin que investigara el problema de las imágenes de abuso sexual infantil en el motor de búsqueda Bing de Microsoft. Bajo la estrecha supervisión de las autoridades israelíes, la empresa encontró docenas de imágenes ilegales en los resultados de la búsqueda de ciertas palabras clave. Cuando The New York Times siguió el informe de TechCrunch la semana pasada, sus reporteros encontraron que Bing había hecho poco en los meses que habían pasado para evitar que el contenido de abuso sexual infantil apareciera en sus resultados de búsqueda.
Fue una reprimenda condenatoria a los esfuerzos de la compañía para combatir el abuso infantil en sus resultados de búsqueda, a pesar de ser pionera en su herramienta de detección de fotos PhotoDNA, que el gigante del software creó hace una década para identificar imágenes ilegales basadas en una enorme base de datos de hash de contenido conocido de abuso infantil. .
Gibson de Giphy dijo que la compañía fue “recientemente aprobada” para usar PhotoDNA de Microsoft, pero no dijo si estaba actualmente en uso.
Donde algunas de las empresas de tecnología más ricas, más grandes y con más recursos no logran limitar de manera preventiva la exposición de sus plataformas a contenido ilegal, las nuevas empresas están llenando los vacíos de moderación de contenido.
L1ght, que tiene un interés comercial en este espacio, se fundó hace un año para ayudar a combatir a los depredadores en línea, la intimidación, el discurso de odio, las estafas y más.
La empresa fue iniciada por el ex director ejecutivo de Amobee, Zohar Levkovitz, y el experto en seguridad cibernética Ron Porat, anteriormente fundador del bloqueador de anuncios Shine, después de que el propio hijo de Porat sufriera abusos en línea en el juego en línea Minecraft. La empresa se dio cuenta de que el problema con estas plataformas era algo que había superado la propia capacidad de los usuarios para protegerse, y que la tecnología necesitaba acudir en su ayuda.
El negocio de L1ght implica implementar su tecnología de manera similar a como lo ha hecho aquí con Giphy, para identificar, analizar y predecir la toxicidad en línea con una precisión casi en tiempo real.
Source link