Ha llegado el primer equivalente de código abierto de ChatGPT de OpenAI, pero buena suerte ejecutándolo en su computadora portátil, o en absoluto.
Esta semana, Philip Wang, el desarrollador responsable de la ingeniería inversa de sistemas de IA de código cerrado, incluido Make-A-Video de Meta, lanzó PaLM + RLHF, un modelo de generación de texto que se comporta de manera similar a ChatGPT. El sistema combina Palmeraun gran modelo de lenguaje de Google y una técnica llamada Aprendizaje por refuerzo con retroalimentación humana (RLHF, por sus siglas en inglés) para crear un sistema que puede realizar prácticamente cualquier tarea que ChatGPT puede realizar, incluida la redacción de correos electrónicos y la sugerencia de código de computadora.
Pero PaLM + RLHF no está preentrenado. Es decir, el sistema no ha sido entrenado con los datos de ejemplo de la web necesarios para que realmente funcione. La descarga de PaLM + RLHF no instalará mágicamente una experiencia similar a ChatGPT; eso requeriría compilar gigabytes de texto a partir del cual el modelo pueda aprender y encontrar hardware lo suficientemente robusto como para manejar la carga de trabajo de capacitación.
Al igual que ChatGPT, PaLM + RLHF es esencialmente una herramienta estadística para predecir palabras. Cuando se alimenta con una gran cantidad de ejemplos de datos de entrenamiento, por ejemplo, publicaciones de Reddit, artículos de noticias y libros electrónicos, PaLM + RLHF aprende la probabilidad de que ocurran las palabras en función de patrones como el contexto semántico del texto circundante.
ChatGPT y PaLM + RLHF comparten una salsa especial en el aprendizaje reforzado con retroalimentación humana, una técnica que tiene como objetivo alinear mejor los modelos de lenguaje con lo que los usuarios desean que logren. RLHF implica entrenar un modelo de lenguaje, en el caso de PaLM + RLHF, PaLM, y ajustarlo en un conjunto de datos que incluye indicaciones (por ejemplo, “Explicar el aprendizaje automático a un niño de seis años”) junto con lo que los voluntarios humanos esperan del modelo. decir (por ejemplo, “El aprendizaje automático es una forma de IA…”). Las indicaciones antes mencionadas luego se alimentan al modelo ajustado, que genera varias respuestas, y los voluntarios clasifican todas las respuestas de mejor a peor. Finalmente, las clasificaciones se utilizan para entrenar un “modelo de recompensa” que toma las respuestas del modelo original y las ordena en orden de preferencia, filtrando las mejores respuestas a un mensaje dado.
Recopilar los datos de entrenamiento es un proceso costoso. Y la formación en sí no es barata. PaLM tiene un tamaño de 540 mil millones de parámetros, “parámetros” que se refieren a las partes del modelo de lenguaje aprendidas de los datos de entrenamiento. Un 2020 estudiar fijó los gastos para desarrollar un modelo de generación de texto con solo 1.500 millones de parámetros en hasta $ 1.6 millones. Y para entrenar el modelo de código abierto Bloom, que tiene 176 mil millones de parámetros, tomó tres meses usando 384 GPU Nvidia A100; un solo A100 cuesta miles de dólares.
Ejecutar un modelo entrenado del tamaño de PaLM + RLHF tampoco es trivial. Bloom requiere una PC dedicada con alrededor de ocho GPU A100. Las alternativas en la nube son caras, con matemáticas al dorso del sobre hallazgo el costo de ejecutar el GPT-3 generador de texto de OpenAI, que tiene alrededor de 175 mil millones de parámetros, en un solo servicio web de Amazon es de alrededor de $ 87,000 por año.
Sebastian Raschka, investigador de IA, señala en LinkedIn publicar sobre PaLM + RLHF que ampliar los flujos de trabajo de desarrollo necesarios también podría ser un desafío. “Incluso si alguien le proporciona 500 GPU para entrenar este modelo, aún debe lidiar con la infraestructura y tener un marco de software que pueda manejar eso”, dijo. “Obviamente es posible, pero es un gran esfuerzo en este momento (por supuesto, estamos desarrollando marcos para hacerlo más simple, pero todavía no es trivial)”.
Eso es todo para decir que PaLM + RLHF no reemplazará a ChatGPT hoy, a menos que una empresa (o persona) bien financiada se tome la molestia de capacitarla y ponerla a disposición del público.
En mejores noticias, varios otros esfuerzos para replicar ChatGPT están progresando a un ritmo rápido, incluido uno dirigido por un grupo de investigación llamado Carper AI. En asociación con la organización de investigación de IA abierta EleutherAI y las nuevas empresas Scale AI y Hugging Face, CarperAI planea lanzar el primer modelo de IA similar a ChatGPT, listo para funcionar, entrenado con retroalimentación humana.
LAION, la organización sin fines de lucro que suministró el conjunto de datos inicial utilizado para entrenar Stable Diffusion, también está encabezando un proyecto para replicar ChatGPT utilizando las técnicas de aprendizaje automático más recientes. Ambiciosamente, LAION tiene como objetivo construir un “asistente del futuro”, uno que no solo escriba correos electrónicos y cartas de presentación, sino que “haga un trabajo significativo, use API, busque información dinámicamente y mucho más”. Está en las primeras etapas. Pero un GitHub página con recursos para el proyecto se puso en marcha hace unas semanas.
Source link