Más de un año después de un escándalo de moderación de contenido de seguridad infantil en YouTube, se necesitan solo unos pocos clics para que los algoritmos de recomendación de la plataforma redirijan la búsqueda de videos de "mujeres en bikini" de mujeres adultas hacia clips de menores con poca ropa dedicados a la gimnasia que contorsiona el cuerpo. o tomar un baño de hielo o polo de hielo chupando "desafío".
Un YouTube el creador llamado Matt Watson señaló el problema en una publicación crítica de Reddit, y dijo que encontró decenas de videos de niños en los que los usuarios de YouTube están intercambiando comentarios inapropiados y marcas de tiempo debajo del pliegue, denunciando a la compañía por no haber evitado lo que él describe como un "núcleo blando" Anillo de pedofilia "operando a simple vista en su plataforma.
También ha publicado un video de YouTube que demuestra cómo el algoritmo de recomendación de la plataforma empuja a los usuarios a lo que él llama un "agujero de gusano" de pedofilia, acusando a la compañía de facilitar y monetizar la explotación sexual de los niños.
Fuimos fácilmente capaces de replicar el comportamiento del algoritmo de YouTube que describe Watson en una sesión de navegador privado con historial que, después de hacer clic en dos videos de mujeres adultas en bikini, sugirió que viéramos un video llamado "dulce dieciséis fiesta en la piscina".
Al hacer clic en la barra lateral de YouTube, se muestran varios videos de chicas prepúberes en la sección "siguiente" donde el algoritmo incluye contenido relacionado para alentar a los usuarios a seguir haciendo clic.
Los videos que nos recomendaron en esta barra lateral incluían miniaturas que mostraban a chicas jóvenes que mostraban posturas de gimnasia, mostrando sus "rutinas de la mañana" o lamiendo paletas de hielo o paletas de hielo.
Watson dijo que era fácil para él encontrar videos que contenían comentarios inapropiados / depredadores, incluidos emoji y marcas de tiempo sexualmente sugerentes que aparecían con la intención de resaltar, atajar y compartir las posiciones y / o momentos más comprometidos en los videos de los menores.
También encontramos múltiples ejemplos de marcas de tiempo y comentarios inapropiados en videos de niños que el algoritmo de YouTube recomendó que viéramos.
Algunos comentarios de otros usuarios de YouTube denunciaron a quienes hacían comentarios sexualmente sugestivos sobre los niños en los videos.
En noviembre de 2017, varios de los principales anunciantes congelaron el gasto en la plataforma de YouTube después de una investigación realizada por la BBC y el Times descubrió comentarios igualmente obscenos en videos de niños.
A principios del mismo mes, YouTube también fue criticado por el contenido de baja calidad dirigido a los niños como espectadores en su plataforma.
La compañía anunció una serie de cambios en las políticas relacionadas con los videos enfocados en los niños, que incluyen el hecho de que los comentarios de la policía sobre los videos de los niños y los videos inapropiados acerca de los niños en ellos tendrían que ser desactivados por completo.
Algunos de los videos de chicas jóvenes que YouTube recomendó que viéramos ya tenían comentarios deshabilitados, lo que sugiere que su IA identificó previamente una gran cantidad de comentarios inapropiados que se están compartiendo (debido a su política de desactivar los comentarios en los clips que contienen niños cuando hay comentarios). considerado "inapropiado") – sin embargo, los videos en sí mismos todavía se sugirieron para verlos en una búsqueda de prueba que se originó con la frase "recorrido de bikini".
Watson también dice que encontró anuncios que se muestran en algunos videos de niños que contienen comentarios inapropiados, y afirma que encontró enlaces a pornografía infantil que también se comparten en los comentarios de YouTube.
No pudimos verificar esos hallazgos en nuestras pruebas breves.
Le preguntamos a YouTube por qué sus algoritmos se inclinan hacia la recomendación de videos de menores, incluso cuando el espectador comienza viendo videos de mujeres adultas, y por qué los comentarios inapropiados siguen siendo un problema en los videos de menores de edad más de un año después de que el mismo tema se destacó a través del periodismo de investigación.
La compañía nos envió la siguiente declaración en respuesta a nuestras preguntas:
Cualquier contenido, incluidos los comentarios, que ponga en peligro a los menores de edad es abominable y tenemos políticas claras que lo prohíben en YouTube. Aplicamos estas políticas de manera agresiva, informándolas a las autoridades pertinentes, eliminándolas de nuestra plataforma y cancelando cuentas. Continuamos invirtiendo fuertemente en tecnología, equipos y asociaciones con organizaciones benéficas para abordar este problema. Tenemos políticas estrictas que rigen el lugar donde permitimos que aparezcan anuncios y las aplicamos enérgicamente. Cuando encontramos contenido que infringe nuestras políticas, inmediatamente dejamos de publicar anuncios o lo eliminamos por completo.
Un portavoz de YouTube también nos dijo que está revisando sus políticas a la luz de lo que Watson ha destacado, y agregó que está en el proceso de revisar los videos y comentarios específicos presentados en su video, especificando también que parte del contenido ha sido eliminado como resultado de la reseña
Sin embargo, el portavoz enfatizó que la mayoría de los videos marcados por Watson son grabaciones inocentes de niños que hacen cosas cotidianas. (Aunque, por supuesto, el problema es que el contenido inocente se está reutilizando y se está dividiendo en el tiempo para obtener una gratificación y una explotación abusivas).
El portavoz agregó que YouTube trabaja con el Centro Nacional para Menores Desaparecidos y Explotados para informar a las autoridades policiales que se encuentran haciendo comentarios inapropiados sobre los niños.
En una discusión más amplia sobre el tema, el portavoz nos dijo que determinar el contexto sigue siendo un desafío para sus sistemas de moderación de inteligencia artificial.
En el frente de la moderación humana, dijo que la plataforma ahora tiene alrededor de 10.000 revisores humanos encargados de evaluar el contenido marcado para revisión.
El volumen de contenido de video subido a YouTube es de alrededor de 400 horas por minuto, agregó.
Todavía existe claramente una asimetría masiva en torno a la moderación del contenido en las plataformas de contenido generado por el usuario, y la IA no es adecuada para cubrir el vacío debido a la debilidad continua en la comprensión del contexto, incluso cuando los equipos de moderación humana de las plataformas siguen siendo irremediablemente sin recursos y sin recursos en comparación con la escala de la tarea.
Otro punto clave que YouTube no mencionó es la clara tensión entre los modelos de negocios basados en publicidad que monetizan el contenido basado en la participación del espectador (como el suyo propio) y los problemas de seguridad del contenido que deben considerar cuidadosamente la sustancia del contenido y el contexto en el que Se ha consumido.
Ciertamente, no es la primera vez que se recurre a los algoritmos de recomendación de YouTube por impactos negativos. En los últimos años, la plataforma ha sido acusada de automatizar la radicalización empujando a los espectadores hacia contenido extremista e incluso terrorista, lo que llevó a YouTube a anunciar otro cambio de política en 2017 relacionado con la forma en que maneja el contenido creado por extremistas conocidos.
El impacto social más amplio de las sugerencias algorítmicas que inflan las teorías de conspiración y / o promueven contenido científico o de salud anti-factual también se ha planteado repetidamente como una preocupación, incluso en YouTube.
Y solo el mes pasado, YouTube dijo que reduciría las recomendaciones de lo que denominó "contenido límite" y el contenido que "podría informar mal a los usuarios de manera dañina", citando ejemplos como videos que promueven una cura milagrosa falsa para una enfermedad grave, o afirmar que la Tierra es planas, o hacer "afirmaciones descaradamente falsas" sobre eventos históricos como el ataque terrorista del 9/11 en Nueva York.
"Si bien este cambio se aplicará a menos del uno por ciento del contenido en YouTube, creemos que limitar la recomendación de este tipo de videos significará una mejor experiencia para la comunidad de YouTube", escribió en ese momento. “Como siempre, las personas pueden seguir accediendo a todos los videos que cumplen con nuestras Normas de la comunidad y, cuando sea relevante, estos videos pueden aparecer en las recomendaciones para los suscriptores del canal y en los resultados de búsqueda. Creemos que este cambio logra un equilibrio entre mantener una plataforma para la libertad de expresión y cumplir con nuestra responsabilidad para con los usuarios ".
YouTube dijo que el cambio de recomendaciones algorítmicas sobre los videos de conspiración sería gradual, y solo inicialmente afectaría las recomendaciones en un pequeño conjunto de videos en los EE. UU.
También señaló que la implementación del ajuste a su motor de recomendación involucraría a expertos en tecnología de aprendizaje automático y evaluadores humanos y expertos que ayudarían a entrenar los sistemas de inteligencia artificial.
"Con el tiempo, a medida que nuestros sistemas sean más precisos, extenderemos este cambio a más países. "Es solo un paso más en un proceso continuo, pero refleja nuestro compromiso y sentido de responsabilidad para mejorar la experiencia de las recomendaciones en YouTube", agregó.
Queda por verse si YouTube ampliará ese cambio de política y decidirá que debe ejercer una mayor responsabilidad en la forma en que su plataforma recomienda y presenta videos de niños para el consumo remoto en el futuro.
La presión política puede ser una fuerza motivadora, con un impulso para la regulación de las plataformas en línea, incluidas las llamadas para que las empresas de Internet enfrenten responsabilidades legales claras e incluso una obligación legal hacia los usuarios con respecto al contenido que distribuyen y monetizan.
Por ejemplo, los reguladores de los EE. UU. Han hecho de la legislación en Internet y la seguridad de las redes sociales una prioridad política, ya que el gobierno publicará este invierno un libro blanco en el que expondrá sus planes para las plataformas gubernamentales.
Source link