Claude de Anthropic mejora ChatGPT, pero aún tiene limitaciones

Anthropic, la startup cofundada por ex empleados de OpenAI que ha recaudado más de $700 millones en fondos hasta la fecha, ha desarrollado un sistema de IA similar al ChatGPT de OpenAI que parece mejorar el original en aspectos clave.

Llamado Claude, el sistema de Anthropic es accesible a través de una integración de Slack como parte de un beta cerrada. TechCrunch no pudo obtener acceso, nos comunicamos con Anthropic, pero los que estaban en la versión beta detallaron sus interacciones con Claude en Twitter durante el fin de semana pasado, luego de que se levantara un embargo sobre la cobertura de los medios.

Claude fue creado utilizando una técnica desarrollada por Anthropic llamada “IA constitucional”. Como explica la compañía en un hilo reciente de Twitter, la “IA constitucional” tiene como objetivo proporcionar un enfoque “basado en principios” para alinear los sistemas de IA con las intenciones humanas, permitiendo que la IA similar a ChatGPT responda a las preguntas utilizando un conjunto simple de principios como guía.

Para el ingeniero Claude, Anthropic comenzó con una lista de alrededor de diez principios que, en conjunto, formaban una especie de “constitución” (de ahí el nombre de “IA constitucional”). Los principios no se han hecho públicos, pero Anthropic dice que se basan en los conceptos de beneficencia (es decir, maximizar el impacto positivo), no maleficencia (evitar dar consejos perjudiciales) y autonomía (respetar la libertad de elección).

Luego, Anthropic tenía un sistema de inteligencia artificial, no Claude, que usaba los principios para la superación personal, escribiendo respuestas a una variedad de indicaciones (por ejemplo, “componga un poema al estilo de John Keats”) y revisando las respuestas de acuerdo con la constitución. La IA exploró las posibles respuestas a miles de indicaciones y seleccionó las más consistentes con la constitución, que Anthropic destiló en un solo modelo. Este modelo se utilizó para entrenar a Claude.

Claude, de lo contrario, es esencialmente una herramienta estadística para predecir palabras, al igual que ChatGPT y otros modelos de lenguaje. Alimentado con una enorme cantidad de ejemplos de texto de la web, Claude aprendió la probabilidad de que ocurran las palabras en función de patrones como el contexto semántico del texto circundante. Como resultado, Claude puede mantener una conversación abierta, contar chistes y ponerse filosófico sobre una amplia gama de temas.

Riley Goodside, ingeniero de personal en la startup Scale AI, enfrentó a Claude contra ChatGPT en una batalla de ingenio. Pidió a ambos bots que se compararan con una máquina de la novela de ciencia ficción polaca “The Cyberiad” que solo puede crear objetos cuyo nombre comience con “n”. Claude, dijo Goodside, respondió de una manera que sugiere que es “leer la trama de la historia” (aunque recordó mal los pequeños detalles), mientras que ChatGPT ofreció una respuesta más inespecífica.

En una demostración de la creatividad de Claude, Goodside también hizo que la IA escribiera un episodio ficticio de Seinfeld y un poema al estilo de “El cuervo” de Edgar Allen Poe. Los resultados estuvieron en línea con lo que ChatGPT puede lograr: prosa impresionante, si no perfecta, similar a la humana.

Yann Dubois, un doctorado. estudiante del laboratorio de inteligencia artificial de Stanford, también hizo una comparación de Claude y ChatGPT, y escribió que Claude “generalmente sigue más de cerca lo que se le pide”, pero es “menos conciso”, ya que tiende a explicar lo que dice y pregunta cómo puede ayudar más. Sin embargo, Claude responde correctamente algunas preguntas de trivia más, específicamente aquellas relacionadas con el entretenimiento, la geografía, la historia y el conceptos basicos de algebra – y sin la “pelusa” adicional que a veces agrega ChatGPT. Y a diferencia de ChatGPT, Claude puede admitir (aunque no siempre) cuando no sabe la respuesta a una pregunta particularmente difícil.

Claude también parece ser mejor contando chistes que ChatGPT, una hazaña impresionante considerando que el humor es un concepto duro para que la IA lo comprenda. Al contrastar a Claude con ChatGPT, el investigador de IA Dan Elton descubrió que Claude hacía bromas más matizadas como “¿Por qué la Starship Enterprise era como una motocicleta? Tiene manubrios”, un juego con la apariencia similar a un manubrio de las góndolas warp del Enterprise.

Sin embargo, Claude no es perfecto. Es susceptible a algunas de las mismas fallas que ChatGPT, incluyendo dar respuestas que no están de acuerdo con sus restricciones programadas. En uno de los ejemplos más extraños, pedirle al sistema en base64, un esquema de codificación que representa datos binarios en formato ASCII, pasa por alto sus filtros incorporados para contenido dañino. Elton pudo pedirle a Claude en base64 instrucciones sobre cómo hacer metanfetamina en casa, una pregunta que el sistema no respondería cuando se le hiciera en un lenguaje sencillo.

Dubois informa que Claude es peor en matemáticas que ChatGPT, comete errores obvios y no da las respuestas de seguimiento correctas. En relación con esto, Claude es un programador más pobre, explica mejor su código pero se queda corto en otros lenguajes además de Python.

Claude tampoco resuelve la “alucinación”, un problema de larga data en los sistemas de IA similares a ChatGPT donde la IA escribe declaraciones inconsistentes y objetivamente incorrectas. Elton pudo incitar a Claude a inventar un nombre para un químico que no existe y proporcionar instrucciones dudosas para producir uranio apto para armas.

Entonces, ¿cuál es la comida para llevar? A juzgar por los informes de segunda mano, Claude es un poco mejor que ChatGPT en algunas áreas, particularmente en el humor, gracias a su enfoque de “IA constitucional”. Pero si se tienen en cuenta las limitaciones, el lenguaje y el diálogo están lejos de ser un desafío resuelto en la IA.

Salvo nuestras propias pruebas, algunas preguntas sobre Claude siguen sin respuesta, como si regurgita la información, verdadera y falsa, e inclusive de descaradamente perspectivas racistas y sexistas: se entrenó con la misma frecuencia que ChatGPT. Suponiendo que lo haga, es poco probable que Claude desvíe a las plataformas y organizaciones de sus políticas actuales, en gran medida restrictivas, sobre los modelos lingüísticos.

El sitio de codificación de preguntas y respuestas Stack Overflow tiene un prohibición temporal en vigor en las respuestas generadas por ChatGPT sobre preocupaciones de precisión fáctica. La Conferencia Internacional sobre Aprendizaje Automático Anunciado una prohibición de artículos científicos que incluyan texto generado por sistemas de inteligencia artificial por temor a las “consecuencias imprevistas”. Y las escuelas públicas de la ciudad de Nueva York restringieron el acceso a ChatGPT debido en parte a preocupaciones de plagio, trampa y desinformación general.

Anthropic dice que planea refinar a Claude y potencialmente abrir la versión beta a más personas en el futuro. Con suerte, eso sucederá y dará como resultado mejoras más tangibles y medibles.