OpenAI envió GPT-4 ayer, el modelo de IA de generación de texto tan esperado, y es un trabajo curioso.
GPT-4 mejora a su predecesor, GPT-3, en formas clave, por ejemplo, brinda declaraciones más verdaderas y permite a los desarrolladores prescribir su estilo y comportamiento más fácilmente. También es multimodal en el sentido de que puede comprender imágenes, lo que le permite subtitular e incluso explicar en detalle el contenido de una foto.
Pero GPT-4 tiene serias deficiencias. Al igual que GPT-3, el modelo “alucina” hechos y comete errores básicos de razonamiento. En un ejemplo de OpenAI blog propio, GPT-4 describe a Elvis Presley como el “hijo de un actor”. (Ninguno de sus padres eran actores).
Para comprender mejor el ciclo de desarrollo de GPT-4 y sus capacidades, así como sus limitaciones, TechCrunch habló con Greg Brockman, uno de los cofundadores de OpenAI y su presidente, a través de una videollamada el martes.
Cuando se le pidió que comparara GPT-4 con GPT-3, Brockman dijo una palabra: Diferente.
“Es simplemente diferente”, dijo a TechCrunch. “Todavía hay muchos problemas y errores que [the model] hace… pero realmente se puede ver el salto en la habilidad en cosas como el cálculo o la ley, donde pasó de ser realmente malo en ciertos dominios a bastante bueno en relación con los humanos”.
Los resultados de las pruebas respaldan su caso. En el examen AP Calculus BC, GPT-4 obtiene un puntaje de 4 de 5 mientras que GPT-3 obtiene un puntaje de 1. (GPT-3.5, el modelo intermedio entre GPT-3 y GPT-4, también obtiene un puntaje de 4). examen de barra simulado, GPT-4 pasa con un puntaje alrededor del 10% superior de los examinados; La puntuación de GPT-3.5 rondaba el 10 % inferior.
Cambiando de marcha, uno de los aspectos más intrigantes de GPT-4 es la multimodalidad mencionada anteriormente. A diferencia de GPT-3 y GPT-3.5, que solo podían aceptar indicaciones de texto (p. ej., “Escribe un ensayo sobre jirafas”), GPT-4 puede recibir indicaciones tanto de imágenes como de texto para realizar alguna acción (p. ej., una imagen de jirafas en el Serengeti con el mensaje “¿Cuántas jirafas se muestran aquí?”).
Esto se debe a que GPT-4 se entrenó en datos de imagen y texto, mientras que sus predecesores solo se entrenaron en texto. OpenAI dice que los datos de capacitación provienen de “una variedad de fuentes de datos con licencia, creadas y disponibles públicamente, que pueden incluir información personal disponible públicamente”, pero Brockman objetó cuando le pedí detalles. (Los datos de entrenamiento han metido a OpenAI en problemas legales antes).
Las capacidades de comprensión de imágenes de GPT-4 son bastante impresionantes. Por ejemplo, alimentó el mensaje “¿Qué tiene de gracioso esta imagen? Descríbalo panel por panel” más una imagen de tres paneles que muestra un cable VGA falso conectado a un iPhone, GPT-4 brinda un desglose de cada panel de imágenes y explica correctamente el chiste (“El humor en esta imagen proviene de lo absurdo de enchufar un conector VGA grande y obsoleto en un puerto de carga de teléfono inteligente pequeño y moderno”).
Solo un único socio de lanzamiento tiene acceso a las capacidades de análisis de imágenes de GPT-4 en este momento: una aplicación de asistencia para personas con discapacidad visual llamada Be My Eyes. Brockman dice que la implementación más amplia, siempre que ocurra, será “lenta e intencional” a medida que OpenAI evalúe los riesgos y beneficios.
“Hay cuestiones de política como el reconocimiento facial y cómo tratar las imágenes de las personas que debemos abordar y resolver”, dijo Brockman. “Necesitamos averiguar dónde están las zonas de peligro, dónde están las líneas rojas, y luego aclarar eso con el tiempo”.
OpenAI lidió con dilemas éticos similares en torno a DALL-E 2, su sistema de texto a imagen. Después de deshabilitar inicialmente la capacidad, OpenAI permitió a los clientes cargar rostros de personas para editarlos utilizando el sistema de generación de imágenes impulsado por IA. En ese momento, OpenAI afirmó que las actualizaciones de su sistema de seguridad hicieron posible la función de edición de rostros al “minimizar el potencial de daño” de las falsificaciones profundas, así como los intentos de crear contenido sexual, político y violento.
Otra perenne es evitar que GPT-4 se use de manera no intencionada que pueda causar daños, psicológicos, monetarios o de otro tipo. Horas después del lanzamiento del modelo, la startup israelí de ciberseguridad Adversa AI publicó un entrada en el blog demostrando métodos para eludir los filtros de contenido de OpenAI y obtener GPT-4 para generar correos electrónicos de phishing, descripciones ofensivas de personas homosexuales y otros textos altamente objetables.
No es un fenómeno nuevo en el dominio del modelo de lenguaje. BlenderBot de Meta y ChatGPT de OpenAI también se han visto obligados a decir cosas tremendamente ofensivas e incluso revelar detalles confidenciales sobre su funcionamiento interno. Pero muchos esperaban, incluido este reportero, que GPT-4 podría ofrecer mejoras significativas en el frente de la moderación.
Cuando se le preguntó acerca de la solidez de GPT-4, Brockman enfatizó que el modelo pasó por seis meses de capacitación en seguridad y que, en pruebas internas, tenía un 82 % menos de probabilidades de responder a solicitudes de contenido no permitido por la política de uso de OpenAI y un 40 % más de probabilidades para producir respuestas “fácticas” que GPT-3.5.
“Pasamos mucho tiempo tratando de entender de qué es capaz GPT-4”, dijo Brockman. “Exponerlo al mundo es cómo aprendemos. Estamos constantemente haciendo actualizaciones, incluimos un montón de mejoras, para que el modelo sea mucho más escalable a cualquier personalidad o tipo de modo en el que quieras que esté”.
Los primeros resultados del mundo real no son tan prometedores, francamente. Más allá de las pruebas de IA de Adversa, se ha demostrado que Bing Chat, el chatbot de Microsoft con tecnología GPT-4, es muy susceptible al jailbreak. Usando entradas cuidadosamente adaptadas, los usuarios han podido hacer que el bot profese amor, amenace con hacer daño, defienda el Holocausto e invente teorías de conspiración.
Brockman no negó que GPT-4 se queda corto aquí. Pero hizo hincapié en las nuevas herramientas de control de mitigación del modelo, incluida una capacidad a nivel de API denominada mensajes del “sistema”. Los mensajes del sistema son esencialmente instrucciones que marcan la pauta y establecen límites para las interacciones de GPT-4. Por ejemplo, un mensaje del sistema podría decir: “Eres un tutor que siempre responde en estilo socrático. Nunca le das la respuesta al estudiante, pero siempre tratas de hacer la pregunta correcta para ayudarlo a aprender a pensar por sí mismo”.
La idea es que los mensajes del sistema actúen como barandillas para evitar que GPT-4 se desvíe de su curso.
“Descubrir realmente el tono, el estilo y la sustancia de GPT-4 ha sido un gran enfoque para nosotros”, dijo Brockman. “Creo que estamos empezando a entender un poco más sobre cómo hacer la ingeniería, sobre cómo tener un proceso repetible que te lleve a resultados predecibles que serán realmente útiles para las personas”.
La conversación de Brockman y yo también abordó la ventana de contexto de GPT-4, que se refiere al texto que el modelo puede considerar antes de generar texto adicional. OpenAI está probando una versión de GPT-4 que puede “recordar” aproximadamente 50 páginas de contenido, o cinco veces más de lo que el GPT-4 estándar puede contener en su “memoria” y ocho veces más que GPT-3.
Brockman cree que la ventana de contexto expandida lleva a aplicaciones nuevas, previamente inexploradas, particularmente en la empresa. Él imagina un chatbot de IA creado para una empresa que aprovecha el contexto y el conocimiento de diferentes fuentes, incluidos los empleados de todos los departamentos, para responder preguntas de una manera muy informada pero conversacional.
Eso es no es un concepto nuevo. Pero Brockman argumenta que las respuestas de GPT-4 serán mucho más útiles que las de los chatbots y los motores de búsqueda actuales.
“Anteriormente, la modelo no sabía quién eras, qué te interesaba, etcétera”, dijo Brockman. “Tener ese tipo de historia [with the larger context window] definitivamente lo hará más capaz… Impulsará lo que la gente puede hacer”.
Source link