Perceptron: el sesgo de la IA puede surgir de las instrucciones de anotación

La investigación en el campo del aprendizaje automático y la IA, ahora una tecnología clave en prácticamente todas las industrias y empresas, es demasiado voluminosa para que alguien la lea en su totalidad. Esta columna, Perceptron (anteriormente Deep Science), tiene como objetivo recopilar algunos de los descubrimientos y artículos recientes más relevantes, particularmente en inteligencia artificial, entre otros, y explicar por qué son importantes.

Esta semana en AI, un nuevo estudio revela cómo el sesgo, un problema común en los sistemas de IA, puede comenzar con las instrucciones dadas a las personas reclutadas para anotar datos a partir de los cuales los sistemas de IA aprenden a hacer predicciones. Los coautores encuentran que los anotadores detectan patrones en las instrucciones, lo que los condiciona para contribuir con anotaciones que luego se sobrerrepresentan en los datos, lo que sesga el sistema de IA hacia estas anotaciones.

Muchos sistemas de IA hoy en día “aprenden” a dar sentido a imágenes, videos, texto y audio a partir de ejemplos que han sido etiquetados por anotadores. Las etiquetas permiten que los sistemas extrapolen las relaciones entre los ejemplos (p. ej., el enlace entre el título “fregadero de cocina” y una foto de un fregadero de cocina) a datos que los sistemas no han visto antes (p. ej., fotos de fregaderos de cocina que no estaban ‘no incluido en los datos utilizados para “enseñar” el modelo).

Esto funciona notablemente bien. Pero la anotación es un enfoque imperfecto: los anotadores traen sesgos a la mesa que pueden filtrarse en el sistema entrenado. Por ejemplo, los estudios han demostrado que la anotador promedio es más probable que etiquete frases en inglés vernáculo afroamericano (AAVE), la gramática informal utilizada por algunos afroamericanos, como tóxicas, lo que lleva a los detectores de toxicidad de IA entrenados en las etiquetas para ver a AAVE como desproporcionadamente tóxico.

Resulta que las predisposiciones de los anotadores podrían no ser las únicas culpables de la presencia de sesgos en las etiquetas de entrenamiento. en una preimpresión estudio de la Universidad Estatal de Arizona y el Instituto Allen para IA, los investigadores investigaron si una fuente de sesgo podría estar en las instrucciones escritas por los creadores de conjuntos de datos para servir como guías para los anotadores. Estas instrucciones suelen incluir una breve descripción de la tarea (p. ej., “Etiquete todas las aves en estas fotos”) junto con varios ejemplos.

Los investigadores analizaron 14 conjuntos de datos de “punto de referencia” diferentes utilizados para medir el rendimiento de los sistemas de procesamiento de lenguaje natural, o sistemas de IA que pueden clasificar, resumir, traducir y analizar o manipular texto. Al estudiar las instrucciones de tareas proporcionadas a los anotadores que trabajaron en los conjuntos de datos, encontraron evidencia de que las instrucciones influyeron en los anotadores para seguir patrones específicos, que luego se propagaron a los conjuntos de datos. Por ejemplo, más de la mitad de las anotaciones en Quoref, un conjunto de datos diseñado para probar la capacidad de los sistemas de inteligencia artificial para comprender cuándo dos o más expresiones se refieren a la misma persona (o cosa), comienzan con la frase “¿Cuál es el nombre?” una frase presente en un tercio de las instrucciones para el conjunto de datos.

El fenómeno, que los investigadores llaman “sesgo de instrucción”, es particularmente preocupante porque sugiere que los sistemas entrenados en datos de instrucción/anotación sesgados podrían no funcionar tan bien como se pensó inicialmente. De hecho, los coautores encontraron que el sesgo de instrucción sobreestima el desempeño de los sistemas y que estos sistemas a menudo no logran generalizar más allá de los patrones de instrucción.

El lado positivo es que se descubrió que los sistemas grandes, como GPT-3 de OpenAI, son generalmente menos sensibles al sesgo de instrucción. Pero la investigación sirve como un recordatorio de que los sistemas de IA, como las personas, son susceptibles de desarrollar sesgos de fuentes que no siempre son obvias. El reto irresoluble es descubrir estas fuentes y mitigar el impacto aguas abajo.

En un artículo menos aleccionador, científicos provenientes de Suiza concluido que los sistemas de reconocimiento facial no se dejan engañar fácilmente por caras realistas editadas por IA. Los “ataques de transformación”, como se les llama, implican el uso de IA para modificar la foto en una identificación, pasaporte u otra forma de documento de identidad con el fin de eludir los sistemas de seguridad. Los coautores crearon “morfos” usando IA (StyleGAN 2 de Nvidia) y los probaron contra cuatro sistemas de reconocimiento facial de última generación. Los morfos no publicaron una amenaza significativa, afirmaron, a pesar de su apariencia real.

En otra parte del dominio de la visión por computadora, los investigadores de Meta desarrollaron un “asistente” de IA que puede recordar las características de una habitación, incluida la ubicación y el contexto de los objetos, para responder preguntas. Detallado en un documento de preimpresión, el trabajo probablemente sea parte de Meta’s Proyecto Nazaré iniciativa para desarrollar gafas de realidad aumentada que aprovechan la IA para analizar su entorno.

El sistema de los investigadores, que está diseñado para usarse en cualquier dispositivo corporal equipado con una cámara, analiza imágenes para construir “memorias de escena semánticamente ricas y eficientes” que “codifican información espacio-temporal sobre objetos”. El sistema recuerda dónde están los objetos y cuándo aparecieron en las secuencias de video y, además, guarda en su memoria las respuestas a las preguntas que un usuario podría hacer sobre los objetos. Por ejemplo, cuando se le pregunta “¿Dónde vio mis llaves por última vez?”, el sistema puede indicar que las llaves estaban en una mesa auxiliar en la sala de estar esa mañana.

Meta, que supuestamente planea lanzar gafas AR con todas las funciones en 2024, telegrafió sus planes para la IA “egocéntrica” ​​en octubre pasado con el lanzamiento de Ego4D, un proyecto de investigación de IA de “percepción egocéntrica” ​​a largo plazo. La compañía dijo en ese momento que el objetivo era enseñar a los sistemas de inteligencia artificial, entre otras tareas, a comprender las señales sociales, cómo las acciones del usuario de un dispositivo AR podrían afectar su entorno y cómo las manos interactúan con los objetos.

Desde el lenguaje y la realidad aumentada hasta los fenómenos físicos: un modelo de IA ha resultado útil en un estudio del MIT sobre las olas: cómo se rompen y cuándo. Si bien parece un poco arcano, la verdad es que los modelos de olas son necesarios tanto para construir estructuras en el agua y cerca de ella, como para modelar cómo el océano interactúa con la atmósfera en los modelos climáticos.

Normalmente, las ondas se simulan aproximadamente mediante un conjunto de ecuaciones, pero los investigadores entrenó un modelo de aprendizaje automático en cientos de instancias de olas en un tanque de agua de 40 pies lleno de sensores. Al observar las olas y hacer predicciones basadas en evidencia empírica, luego comparándolas con los modelos teóricos, la IA ayudó a mostrar dónde se quedaron cortos los modelos.

Está naciendo una startup a partir de la investigación en EPFL, donde la tesis doctoral de Thibault Asselborn sobre el análisis de escritura a mano ha convertido en una aplicación educativa en toda regla. Usando algoritmos que él diseñó, la aplicación (llamada School Rebound) puede identificar hábitos y medidas correctivas con solo 30 segundos de un niño escribiendo en un iPad con un lápiz óptico. Estos se presentan al niño en forma de juegos que les ayudan a escribir con mayor claridad reforzando los buenos hábitos.

“Nuestro modelo científico y rigor son importantes y son lo que nos distingue de otras aplicaciones existentes”, dijo Asselborn en un comunicado de prensa. “Hemos recibido cartas de maestros que han visto a sus alumnos mejorar a pasos agigantados. Algunos estudiantes incluso vienen antes de la clase para practicar”.

Otro hallazgo nuevo en las escuelas primarias tiene que ver con la identificación de problemas auditivos durante los exámenes de rutina. Estas evaluaciones, que algunos lectores recordarán, a menudo usan un dispositivo llamado timpanómetro, que debe ser operado por audiólogos capacitados. Si no hay uno disponible, digamos en un distrito escolar aislado, es posible que los niños con problemas auditivos nunca obtengan la ayuda que necesitan a tiempo.

Samantha Robler y Susan Emmett en Duke decidieron construir un timpanómetro que esencialmente funciona solo, enviando datos a una aplicación de teléfono inteligente donde un modelo de IA los interpreta. Cualquier cosa preocupante se marcará y el niño puede recibir una evaluación adicional. No es un reemplazo para un experto, pero es mucho mejor que nada y puede ayudar a identificar problemas auditivos mucho antes en lugares sin los recursos adecuados.