Inflection, una startup de IA bien financiada que tiene como objetivo crear “IA personal para todos”, ha revelado el gran modelo de lenguaje que impulsa su agente conversacional Pi. Es difícil evaluar la calidad de estas cosas de alguna manera, y mucho menos de manera objetiva y sistemática, pero un poco de competencia es algo bueno.
Inflexión-1, como se llama el modelo, tiene aproximadamente un tamaño y capacidades GPT-3.5 (también conocido como ChatGPT), medido en la potencia informática utilizada para entrenarlos. La compañía afirma que es competitiva o superior a otros modelos de este nivel, y lo respalda con un “memorándum técnico” que describe algunos puntos de referencia que ejecutó en su modelo, GPT-3.5, LLaMA, Chinchilla y PaLM-540B.
De acuerdo con los resultados que publicaron, Inflection-1 de hecho se desempeña bien en varias medidas, como tareas de examen de nivel de secundaria y preparatoria (piense en biología 101) y puntos de referencia de “sentido común” (cosas como “si Jack tira la pelota al techo , y Jill la tira hacia abajo, ¿dónde está la pelota?”). Principalmente se queda atrás en la codificación, donde GPT-3.5 lo supera cómodamente y, en comparación, GPT-4 supera a la competencia; El modelo más grande de OpenAI es bien conocido por haber dado un gran salto en calidad allí, por lo que no es una sorpresa.
Inflection señala que espera publicar los resultados de un modelo más grande comparable a GPT-4 y PaLM-2(L), pero sin duda están esperando hasta que valga la pena publicar los resultados. En cualquier caso, Inflection-2 o Inflection-1-XL o lo que sea está en el horno pero no del todo horneado.
Hasta ahora, la comunidad no ha dividido formalmente los modelos de IA en el equivalente de aprendizaje automático de las clases de peso del boxeo, pero los conceptos se relacionan entre sí bastante bien. No esperas que un peso mosca se enfrente a un peso pesado, son deportes prácticamente diferentes. Lo mismo ocurre con los modelos de IA: uno pequeño no es tan capaz como uno grande, pero el pequeño funciona de manera eficiente en un teléfono mientras que el grande requiere un centro de datos. Es una cosa de manzanas a naranjas.
Todavía es demasiado pronto para intentar tal cosa, ya que el campo aún es comparativamente joven y no hay un consenso real sobre qué tamaños y formas del modelo de IA deben considerarse como una pluma.
En última instancia, para la mayoría de estos modelos, la prueba del pudín está en la degustación, por supuesto, y hasta que Inflection abra su modelo para un uso generalizado y una evaluación independiente, todos sus alardeados puntos de referencia deben tomarse con pinzas. Si quieres darle una oportunidad a Pi, solo puedes añádelo en una de sus aplicaciones de mensajería, o chatea con él en línea aquí.
Source link