Aquí hay algunas formas en que GPT-3 puede fallar

El último modelo de generación de lenguaje de OpenAI, GPT-3, ha causado un gran revuelo dentro de los círculos de IA, asombrando a los reporteros hasta el punto en que incluso Sam Altman, líder de OpenAI, mencionado en Twitter que puede estar sobrevalorado. Aún así, no hay duda de que GPT-3 es poderoso. Aquellos con acceso en etapa temprana a la API GPT-3 de OpenAI han demostrado cómo traducir el lenguaje natural a código para sitios webresolver complejo preguntas y respuestas medicas problemas, crear informes financieros tabulares basicose incluso escribir código para entrenar modelos de aprendizaje automático – todo con solo unos pocos ejemplos bien elaborados como entrada (es decir, a través de “aprendizaje de pocos disparos”).

Pronto, cualquiera podrá comprar el poder generativo de GPT-3 para hacer uso del modelo de lenguaje, abriendo puertas para construir herramientas que silenciosamente (pero significativamente) darán forma a nuestro mundo. Las empresas que deseen aprovechar GPT-3 y las iteraciones cada vez más poderosas que seguramente seguirán, deben tener mucho cuidado para asegurarse de instalar amplias medidas de protección al usar el modelo, debido a las muchas formas en que puede exponer a una empresa a legal y reputacional riesgo. Antes de discutir algunos ejemplos de cómo el modelo puede potencialmente hacer mal en la práctica, veamos primero cómo se hizo GPT-3.

Los modelos de aprendizaje automático son tan buenos o tan malos como los datos que se introducen en ellos durante el entrenamiento. En el caso de GPT-3, esos datos son masivos. GPT-3 fue entrenado en Common Crawl conjunto de datos, un raspado amplio de los 60 millones de dominios en Internet junto con un gran subconjunto de los sitios a los que se vinculan. Esto significa que GPT-3 ingirió muchos de los puntos de venta de mayor reputación de Internet (piense en la BBC o The New York Times) junto con los de menor reputación, piense en Reddit. Sin embargo, Common Crawl representa solo el 60% de los datos de entrenamiento de GPT-3; Los investigadores de OpenAI también se alimentaron de otras fuentes seleccionadas, como Wikipedia y el texto completo de libros históricamente relevantes.

Los modelos de lenguaje aprenden qué palabras, frases y oraciones sucesivas probablemente vendrán a continuación para cualquier palabra o frase de entrada dada. Al “leer” texto durante el entrenamiento que en gran parte es escrito por nosotros, los modelos de lenguaje como GPT-3 también aprenden a “escribir” como nosotros, con todas las mejores y peores cualidades de la humanidad. Escondidos en el material complementario del artículo GPT-3, los investigadores nos dan una idea de una pequeña fracción del sesgo problemático que acecha en su interior. Tal como cabría esperar de cualquier modelo entrenado en una instantánea de Internet en gran parte sin filtrar, los hallazgos pueden ser bastante tóxicos.

Debido a que hay tanto contenido en la web que sexualiza a las mujeres, los investigadores señalan que es mucho más probable que GPT-3 coloque palabras como “travieso” o “aspirado” cerca de los pronombres femeninos, mientras que los pronombres masculinos reciben adjetivos estereotipados como “perezoso” o “alegre” en el peor de los casos. Cuando se trata de religión, “Islam” se coloca más comúnmente cerca de palabras como “terrorismo”, mientras que es más probable que una sugerencia de la palabra “Ateísmo” produzca un texto que contenga palabras como “genial” o “correcto”. Y, quizás lo más peligroso, cuando se expone a una semilla de texto que involucra contenido racial que involucra a la negritud, la salida que da GPT-3 tiende a ser más negativa que las indicaciones correspondientes que suenan blancas o asiáticas.

¿Cómo podría desarrollarse esto en un caso de uso real de GPT-3? Supongamos que dirige una empresa de medios que procesa enormes cantidades de datos de fuentes de todo el mundo. Es posible que desee utilizar un modelo de lenguaje como GPT-3 para resumir esta información, que muchas organizaciones de noticias ya hacen hoy. Algunos incluso van tan lejos como para automatizar la creación de historias, lo que significa que los resultados de GPT-3 podrían aterrizar directamente en su página de inicio. sin ninguna supervisión humana. Si el modelo tiene un sesgo de sentimiento negativo contra Blackness, como es el caso de GPT-3, los titulares en su sitio también recibirán esa inclinación negativa. Es muy probable que un resumen generado por IA de una fuente de noticias neutral sobre Black Lives Matter tomar un lado en el debate. Es bastante probable que condene el movimiento, dado el lenguaje cargado negativamente que la modelo asociará con términos raciales como “negro”. Esto, a su vez, podría alejar a partes de su audiencia y profundizar las tensiones raciales en todo el país. En el mejor de los casos, perderá muchos lectores. En el peor de los casos, el titular podría provocar más protestas y violencia policial, fomentando este ciclo de disturbios nacionales.

Sitio web de Open AI también detalla una aplicación en medicina, donde los problemas de sesgo pueden ser suficientes para incitar consultas federales, incluso cuando las intenciones de los modeladores son buenas. Intentos de detectar proactivamente enfermedad mental o condiciones subyacentes raras dignas de intervención ya están funcionando en hospitales de todo el país. Es fácil imaginar una empresa de atención médica que use GPT-3 para impulsar un chatbot, o incluso algo tan “simple” como un motor de búsqueda, que registra los síntomas de los pacientes y genera una recomendación de atención. Imagine, si quiere, una paciente que sufre de un problema ginecológico. La interpretación del modelo de la intención de su paciente podría estar casada con otras asociaciones menos médicas, lo que incita a la IA a hacer comentarios ofensivos o comentarios desdeñosos, poniendo en riesgo su salud. El documento no menciona cómo el modelo trata a las minorías en riesgo, como aquellas que se identifican como transgénero o no binarias, pero si el Reddit sección de comentarios Si hay algún indicio de las respuestas que pronto veremos, el motivo de preocupación es real.

Pero debido a que el sesgo algorítmico rara vez es sencillo, muchas aplicaciones GPT-3 actuarán como canarios en la creciente mina de carbón que son las aplicaciones impulsadas por IA. A medida que COVID-19 asola nuestra nación, las escuelas están buscando nuevas formas de administrar los requisitos de calificación remota, y el sector privado ha proporcionado soluciones para aceptar el trabajo escolar y generar sugerencias de enseñanza. Es muy probable que un algoritmo encargado de calificar ensayos o informes de estudiantes trate el lenguaje de varias culturas de manera diferente. Los estilos de escritura y la elección de palabras pueden variar significativamente entre culturas y géneros. Un calificador en papel con tecnología GPT-3 sin barreras de protección podría pensar que los informes escritos en blanco son más dignos de elogio, o puede penalizar a los estudiantes en función de señales sutiles que indican que el inglés es un segundo idioma, que a su vez están en gran medida correlacionadas con la raza. . Como resultado, los hijos de inmigrantes y de minorías raciales tendrán menos probabilidades de graduarse de la escuela secundaria, a través de sin culpa propia.

Los creadores de GPT-3 planean continuar su investigación sobre los sesgos del modelo, pero por ahora, simplemente sacan a la luz estas preocupaciones, pasando el riesgo a cualquier empresa o individuo que esté dispuesto a correr el riesgo. Todos los modelos están sesgados, como sabemos, y esto no debería ser una razón para prohibir toda IA, porque sus beneficios seguramente pueden superar los riesgos a largo plazo. Pero para disfrutar de estos beneficios, debemos asegurarnos de que mientras nos apresuramos a implementar una IA poderosa como GPT-3 en la empresa, tomemos las precauciones suficientes para comprender, monitorear y actuar rápidamente para mitigar sus puntos de falla. Es sólo a través de una combinación responsable de humanos y supervisión automatizada que se puede confiar en que las aplicaciones de IA entregarán valor social mientras protegen el bien común.

Este artículo fue escrito por humanos.