El desarrollo de sistemas de inteligencia artificial de vanguardia como ChatGPT requiere recursos técnicos masivos, en parte porque son costosos de desarrollar y ejecutar. Si bien varios esfuerzos de código abierto han intentado aplicar ingeniería inversa a sistemas patentados de código cerrado creados por laboratorios comerciales como DeepMind y OpenAI de Alphabet, a menudo se han topado con obstáculos, principalmente debido a la falta de capital y experiencia en el dominio.
Con la esperanza de evitar este destino, un grupo de investigación comunitario, EleutherAIes formando una fundación sin fines de lucro. La organización anunció hoy que fundará un instituto de investigación sin fines de lucro, el Instituto EleutherAI, financiado con donaciones y subvenciones de patrocinadores, incluidas las nuevas empresas de inteligencia artificial Hugging Face y Stability AI, el ex director ejecutivo de GitHub, Nat Friedman, Lambda Labs y Canva.
“Formalizarnos como organización nos permite formar un personal de tiempo completo y participar en proyectos más largos y complicados de lo que sería factible como un grupo de voluntarios”, Stella Biderman, investigadora de IA en Booz Allen Hamilton, quien codirigirá el Instituto EleutherAI. , le dijo a TechCrunch en una entrevista por correo electrónico. “En términos de una organización sin fines de lucro específicamente, creo que es una obviedad dado nuestro enfoque en la investigación y el espacio de código abierto”.
EleutherAI comenzó hace varios años como una colección de desarrolladores de base que trabajaban para la investigación de IA de código abierto. Sus miembros fundadores, Connor Leahy, Leo Gao y Sid Black, escribieron el código y recopilaron los datos necesarios para crear un modelo de aprendizaje automático cercano al GPT-3 generador de texto de OpenAI, que en ese momento estaba recibiendo mucha prensa.
EleutherAI seleccionó y abrió The Pile, una colección de conjuntos de datos diseñados para usarse para entrenar modelos similares a GPT-3 para completar texto, escribir código y más. Y lanzó varios modelos bajo la licencia Apache 2.0, incluidos GPT-J y GPT-NeoX, modelos de lenguaje que durante un tiempo impulsó una ola completamente nueva de nuevas empresas.
Para entrenar sus modelos, EleutherAI se basó principalmente en TPU Research Cloud, un programa de Google Cloud que apoya proyectos con la expectativa de que los resultados se compartan públicamente. CoreWeave, un minero de criptomonedas con sede en EE. UU. que brinda servicios en la nube para cargas de trabajo de IA, también suministró recursos informáticos a EleutherAI a cambio de modelos que sus clientes pueden usar y servir.
EleutherAI creció rápidamente. Hoy, más de veinte de los colaboradores regulares de la comunidad están trabajando a tiempo completo, centrándose principalmente en la investigación. Y durante los últimos 18 meses, los miembros de EleutherAI han sido coautores de 28 artículos académicos, han capacitado a docenas de modelos y han publicado diez bases de código.
Pero la naturaleza voluble de sus proveedores de nube a veces obligó a EleutherAI a arruinar sus planes. Originalmente, el grupo tenía la intención de lanzar un modelo del tamaño aproximado de GPT-3 en términos de la cantidad de parámetros, pero terminó dejando de lado esa hoja de ruta por razones técnicas y de financiamiento. (En IA, los parámetros son las partes del modelo aprendidas de los datos de entrenamiento históricos y esencialmente definen la habilidad del modelo en un problema, como la generación de texto).
A fines de 2022, EleutherAI se familiarizó con Stability AI, la nueva empresa ahora bien financiada detrás del sistema de IA de generación de imágenes Stable Diffusion. Junto con otros colaboradores, ayudó a crear la versión inicial de Stable Diffusion. Y desde entonces, Stability AI ha donado una parte de la computación de su clúster de AWS para la investigación continua del modelo de lenguaje de EleutherAI.
Después de que otro gran patrocinador, Hugging Face, se acercó a EleutherAI, comenzaron las discusiones sin fines de lucro, dice Biderman. (Muchos miembros del personal de EleutherAI participaron en el esfuerzo BigScience de la empresa, que buscaba capacitar y abrir un modelo similar a GPT-3 en el transcurso de un año).
“EleutherAI se ha centrado en gran medida en grandes modelos de lenguaje que son arquitectónicamente similares a ChatGPT en el pasado, y probablemente seguirá haciéndolo”, dijo Biderman. “Más allá de entrenar grandes modelos de lenguaje, estamos emocionados de dedicar más recursos al trabajo de ética, interpretabilidad y alineación”.
Uno podría preguntarse si la participación de empresas con motivaciones comerciales como Stability AI y Hugging Face, ambas respaldadas por un capital de riesgo sustancial, podría influir en la investigación de EleutherAI. Es una suposición natural, e incluso está respaldada por evidencia. Al menos uno estudiar muestra una correlación directa entre las donaciones y la probabilidad de que las organizaciones sin fines de lucro hablen sobre una regla gubernamental propuesta.
Biderman afirma que la Fundación EleutherAI seguirá siendo independiente y dice que hasta ahora no ve ningún problema con el grupo de donantes.
“No desarrollamos modelos a instancias de entidades comerciales”, dijo Biderman. “En todo caso, creo que tener un patrocinio diverso mejora nuestra independencia. Si estuviéramos totalmente financiados por una empresa de tecnología, eso parece un problema potencial mucho mayor de nuestra parte”.
Otro desafío que la Fundación EleutherAI tendrá que superar es asegurarse de que sus arcas no se agoten. OpenAI es una historia de advertencia; después de ser fundada como una organización sin fines de lucro en 2015, la compañía luego hizo la transición a una estructura de “ganancias limitadas” para financiar su investigación en curso.
En términos generales, las iniciativas sin fines de lucro para financiar la investigación de IA han sido mixtas.
Entre las historias de éxito se encuentra The Allen Institute for AI (AI2), fundado por el difunto cofundador de Microsoft, Paul Allen, que tiene como objetivo lograr avances científicos en IA y aprendizaje automático. También está el Instituto Alan Turing, el instituto nacional de ciencia de datos y aprendizaje automático con sede en el Reino Unido y financiado por el gobierno. Esfuerzos prometedores más pequeños incluyen Cohere For AI de Cohere (a pesar de sus vínculos corporativos) y Distributed AI Research de Timnit Gebru, una organización global de investigación distribuida.
Pero por cada AI2, está el fondo del ex presidente de Google, Eric Schmidt, para la investigación de AI. Con un tamaño de más de $ 125 millones, atrajo una nueva controversia después de Politico reportado que Schmidt ejerce una influencia inusualmente fuerte sobre la Oficina de Política Científica y Tecnológica de la Casa Blanca.
El tiempo dirá qué dirección tomará finalmente la Fundación EleutherAI. Probablemente, la misión evolucione y cambie con el tiempo; de manera positiva, solo podemos esperar.
Source link