Las herramientas de inteligencia artificial de Facebook son lo único que se interpone entre sus usuarios y la creciente avalancha de odio y desinformación que está experimentando la plataforma. Los investigadores de la compañía han creado algunas capacidades nuevas para los sistemas que mantienen a raya al adversario, identificando información errónea relacionada con COVID-19 y discursos de odio disfrazados de memes.
Detectar y eliminar la información errónea relacionada con el virus es obviamente una prioridad en este momento, ya que Facebook y otras redes sociales se convierten en caldos de cultivo no solo para la especulación y el debate ordinarios, sino también para la interferencia maliciosa de campañas organizadas con el objetivo de sembrar discordia y difundir pseudociencia.
“Hemos visto un gran cambio en el comportamiento en todo el sitio debido a COVID-19, un gran aumento en la información errónea que consideramos peligrosa”, dijo el CTO de Facebook, Mike Schroepfer, en una llamada con la prensa hoy.
La compañía tiene contratos con docenas de organizaciones de verificación de hechos en todo el mundo, pero, dejando de lado la cuestión de cuán efectivas son realmente las colaboraciones, la información errónea tiene una forma de mutar rápidamente, haciendo que eliminar incluso una sola imagen o enlace sea un asunto complejo.
Eche un vistazo a las tres imágenes de ejemplo a continuación, por ejemplo: En cierto modo, son casi idénticas, con la misma imagen de fondo, colores, tipo de letra, etc. Pero el segundo es ligeramente diferente: es el tipo de cosa que podrías ver cuando alguien toma una captura de pantalla y la comparte en lugar del original. El tercero es visualmente el mismo pero las palabras tienen el significado opuesto.
Un algoritmo de visión por computadora poco sofisticado las calificaría como imágenes completamente diferentes debido a esos pequeños cambios (dan como resultado diferentes hashes) o de todos modos debido a la abrumadora similitud visual. Por supuesto, vemos las diferencias de inmediato, pero entrenar un algoritmo para hacerlo de manera confiable es muy difícil. Y por la forma en que se difunden las cosas en Facebook, podrías terminar con miles de variaciones en lugar de un puñado.
“Lo que queremos poder hacer es detectar esas cosas como idénticas porque son, para una persona, lo mismo”, dijo Schroepfer. “Nuestros sistemas anteriores eran muy precisos, pero eran muy frágiles y quebradizos incluso ante cambios muy pequeños. Si cambias una pequeña cantidad de píxeles, estábamos demasiado nerviosos de que fuera diferente, por lo que lo marcaríamos como diferente y no lo eliminaríamos. Lo que hicimos aquí durante los últimos dos años y medio fue construir un detector de similitud basado en redes neuronales que nos permitió capturar mejor una variedad más amplia de estas variantes nuevamente con una precisión muy alta”.
Afortunadamente, analizar imágenes a esas escalas es una especialidad de Facebook. La infraestructura está ahí para comparar fotos y buscar características como caras y cosas menos deseables; solo necesitaba que le enseñaran qué buscar. El resultado, de años de trabajo, hay que decirlo, es SimSearchNetun sistema dedicado a encontrar y analizar casi duplicados de una imagen determinada mediante una inspección minuciosa de sus características más destacadas (que pueden no ser en absoluto lo que usted o yo notaríamos).
SimSearchNet actualmente está inspeccionando cada imagen cargada en Instagram y Facebook: miles de millones por día.
El sistema también está monitoreando Facebook Marketplace, donde las personas que intentan eludir las reglas cargarán la misma imagen de un artículo a la venta (por ejemplo, una máscara facial N95) pero ligeramente editada para evitar que el sistema los marque como no permitido. Con el nuevo sistema, se notan las similitudes entre las fotos recoloreadas o editadas de otra manera y se detiene la venta.
Memes odiosos y zorrillos ambiguos
Otro problema al que se ha enfrentado Facebook es el discurso de odio, y su discurso de odio hermano más vagamente definido. Sin embargo, un área que ha resultado especialmente difícil para los sistemas automatizados, es memes.
El problema es que el significado de estas publicaciones a menudo resulta de una interacción entre la imagen y el texto. Las palabras que serían perfectamente apropiadas o ambiguas por sí solas tienen su significado aclarado por la imagen en la que aparecen. No solo eso, sino que hay un sinfín de variaciones en imágenes o frases que pueden cambiar sutilmente (o no cambiar) el significado resultante. Vea abajo:
Para ser claros, estos son “memes malos” moderados, no el tipo de memes realmente odiosos que se encuentran a menudo en Facebook.
Cada pieza individual del rompecabezas está bien en algunos contextos, insultando en otros. ¿Cómo puede un sistema de aprendizaje automático aprender a decir qué es bueno y qué es malo? Este “discurso de odio multimodal” no es un problema trivial debido a la forma en que funciona la IA. Hemos construido sistemas para comprender el lenguaje y clasificar imágenes, pero cómo se relacionan esas dos cosas no es un problema tan simple.
Los investigadores de Facebook señalan que hay “sorprendentemente poca” investigación sobre el tema, por lo que la suya es más una misión exploratoria que una solución. La técnica a la que llegaron tenía varios pasos. Primero, hicieron que los humanos anotaran una gran colección de imágenes de tipo meme como odiosas o no, creando el conjunto de datos Hateful Memes. A continuación, se entrenó un sistema de aprendizaje automático con estos datos, pero con una diferencia crucial con los existentes.
Casi todos estos algoritmos de análisis de imágenes, cuando se presentan con texto y una imagen al mismo tiempo, clasificarán uno, luego el otro, y luego intentarán relacionar los dos. Pero eso tiene la mencionada debilidad de que, independientemente del contexto, el texto y las imágenes de los odiosos memes pueden ser totalmente benignos.
El sistema de Facebook combina la información de texto e imagen antes en la tubería, en lo que llama “fusión temprana”, para diferenciarlo del enfoque tradicional de “fusión tardía”. Esto es más parecido a cómo lo hace la gente: observar todos los componentes de un medio antes de evaluar su significado o tono.
En este momento, los algoritmos resultantes no están listos para su implementación en general, con una precisión general de alrededor del 65-70 %, aunque Schroepfer advirtió que el equipo utiliza “los problemas más difíciles de los difíciles” para evaluar la eficacia. Algunos discursos de odio multimodal serán triviales de señalar como tales, mientras que otros son difíciles de medir incluso para los humanos.
Para ayudar a avanzar en el arte, Facebook está ejecutando un “Desafío de los memes de odio” como parte de la conferencia NeurIPS AI a finales de este año; esto se hace comúnmente con tareas difíciles de aprendizaje automático, ya que los problemas nuevos como este son como hierba gatera para los investigadores.
El rol cambiante de la IA en la política de Facebook
Facebook anunció sus planes de confiar más en la IA para la moderación en los primeros días de la crisis de COVID-19. En una llamada de prensa en marzo, Mark Zuckerberg dijo que la compañía esperaba más “falsos positivos” (casos de contenido marcado cuando no debería estarlo) con la flota de 15,000 contratistas de moderación de la compañía en casa con licencia paga.
Youtube y Gorjeo también cambiaron una mayor parte de su moderación de contenido a IA casi al mismo tiempo, emitiendo advertencias similares sobre cómo una mayor dependencia de la moderación automática podría llevar a que el contenido que en realidad no rompe las reglas de la plataforma se marque por error.
A pesar de sus esfuerzos de inteligencia artificial, Facebook ha estado ansioso por que sus revisores de contenido humano regresen a la oficina. A mediados de abril, Zuckerberg dio un cronograma de cuándo se esperaba que los empleados regresaran a la oficina, y señaló que los revisores de contenido ocupaban un lugar destacado en la lista de Facebook de “empleados críticos” marcados para el regreso más temprano.
Si bien Facebook advirtió que sus sistemas de inteligencia artificial podrían eliminar contenido de manera demasiado agresiva, el discurso de odio, amenazas violentas y la información errónea continúa proliferando en la plataforma a medida que avanza la crisis del coronavirus. Recientemente, Facebook fue criticado por difundir un video viral que desalentaba a las personas a usar máscaras faciales o buscar vacunas una vez que estuvieran disponibles, una clara violación de las reglas de la plataforma contra la información errónea sobre la salud.
El video, un extracto de un pseudo-documental de próxima aparición llamado “Plandemic”, se publicó inicialmente en YouTube, pero los investigadores descubrieron que Facebook próspero ecosistema de grupos conspiradores lo compartió a lo largo y ancho de la plataforma, inyectándolo en el discurso principal en línea. El video de 26 minutos de duración, salpicado de conspiraciones, también es un ejemplo perfecto del tipo de contenido que un algoritmo tendría dificultades para entender.
El martes, Facebook también lanzó una informe de aplicación de estándares comunitarios detallando sus esfuerzos de moderación en categorías como terrorismo, acoso y discurso de odio. Si bien los resultados solo incluyen un lapso de un mes durante la pandemia, podemos esperar ver más impacto del cambio de Facebook a la moderación de IA la próxima vez.
En una llamada sobre los esfuerzos de moderación de la empresa, Zuckerberg señaló que la pandemia ha hecho que “la parte de revisión humana” de su moderación sea mucho más difícil, ya que las preocupaciones sobre la protección de la privacidad del usuario y la salud mental de los trabajadores hacen que el trabajo remoto sea un desafío para los revisores, pero uno de los desafíos de la empresa. está navegando ahora. Facebook confirmó a TechCrunch que la compañía ahora permite que una pequeña parte de los revisores de contenido de tiempo completo regresen a la oficina de forma voluntaria y, según el vicepresidente de integridad de Facebook, Guy Rosen, “la mayoría” de sus revisores de contenido contratados ahora pueden trabajar desde casa. “Los humanos seguirán siendo una parte muy importante de la ecuación”, dijo Rosen.