BigScience, un proyecto comunitario respaldado por la startup Hugging Face con el objetivo de hacer que la IA generadora de texto esté ampliamente disponible, está desarrollando un sistema llamado pétalos que puede ejecutar IA como ChatGPT uniendo recursos de personas a través de Internet. Con Petals, cuyo código se lanzó públicamente el mes pasado, los voluntarios pueden donar su potencia de hardware para abordar una parte de una carga de trabajo de generación de texto y formar equipos para completar tareas más grandes, similares a Folding@home y otras configuraciones informáticas distribuidas.
“Petals es un proyecto de colaboración en curso de investigadores de Hugging Face, Yandex Research y la Universidad de Washington”, dijo a TechCrunch Alexander Borzunov, desarrollador principal de Petals e ingeniero de investigación en Yandex, en una entrevista por correo electrónico. “A diferencia de… las API que suelen ser menos flexibles, Petals es completamente de código abierto, por lo que los investigadores pueden integrar la última generación de texto y los métodos de adaptación del sistema que aún no están disponibles en las API o acceder a los estados internos del sistema para estudiar sus características”.
Código abierto, pero no gratuito
A pesar de todas sus fallas, la IA generadora de texto, como ChatGPT, puede ser bastante útil, al menos si las demostraciones virales en las redes sociales sirven de referencia. ChatGPT y sus parientes prometen automatizar parte del trabajo mundano que normalmente atasca a los programadores, escritores e incluso a los científicos de datos mediante la generación de código, texto y fórmulas similares a los humanos a escala.
Pero son caros de mantener. Según uno estimarChatGPT le está costando a su desarrollador, OpenAI, $ 100,000 por día, lo que equivale a $ 3 millones por mes.
Los costos involucrados con la ejecución de IA de generación de texto de vanguardia la han relegado a nuevas empresas y laboratorios de IA con un respaldo financiero sustancial. No es coincidencia que las empresas que ofrecen algunas de las tecnologías de sistemas de generación de texto más capaces, incluidas AI21 Labs, Cohere y OpenAI antes mencionada, hayan recaudado cientos de millones de dólares en capital de capital de riesgo.
Pero Petals democratiza las cosas, en teoría. Inspirado en el trabajo anterior de Borzunov centrado en el entrenamiento de sistemas de inteligencia artificial a través de Internet, Petals tiene como objetivo reducir drásticamente los costos de ejecución de la inteligencia artificial generadora de texto.
“Petals es un primer paso para permitir una mejora continua y verdaderamente colaborativa de los modelos de aprendizaje automático”, dijo Colin Raffel, investigador de la facultad en Hugging Face, a TechCrunch por correo electrónico. “Esto… marca un cambio continuo de modelos grandes, en su mayoría confinados a supercomputadoras, a algo más ampliamente accesible”.
Raffel hizo referencia a la especie de fiebre del oro que ocurrió durante el último año en la comunidad de generación de texto de fuente abierta. Gracias a los esfuerzos de los voluntarios y la generosidad de los laboratorios de investigación de los gigantes tecnológicos, el tipo de IA generadora de texto de última generación que alguna vez estuvo fuera del alcance de los desarrolladores de poca monta de repente estuvo disponible, entrenada y lista para implementar.
BigScience presentó Bloom, un modelo de lenguaje en muchos aspectos a la par con GPT-3 de OpenAI (el progenitor de ChatGPT), mientras que Meta abrió un sistema de IA comparablemente poderoso llamado OPT. Mientras tanto, Microsoft y Nvidia se asociaron para poner a disposición uno de los sistemas de lenguaje más grandes jamás desarrollados, MT-NLG.
Pero todos estos sistemas requieren un hardware potente para su uso. Por ejemplo, ejecutar Bloom en una máquina local requiere una venta minorista de GPU de cientos a miles de dólares. Ingrese a la red Petals, que, según Borzunov, será lo suficientemente poderosa como para ejecutar y ajustar los sistemas de inteligencia artificial para chatbots y otras aplicaciones “interactivas” una vez que alcance la capacidad suficiente. Para usar Petals, los usuarios instalan una biblioteca de código abierto y visitan un sitio web que proporciona instrucciones para conectarse a la red de Petals. Una vez que están conectados, pueden generar texto desde Bloom ejecutándose en Petals, o crear un servidor Petals para contribuir con la computación a la red.
Cuantos más servidores, más robusta es la red. Si un servidor deja de funcionar, Petals intenta encontrar un reemplazo automáticamente. Si bien los servidores se desconectan después de aproximadamente 1,5 segundos de inactividad para ahorrar recursos, Borzunov dice que Petals es lo suficientemente inteligente como para reanudar rápidamente las sesiones, lo que genera solo un ligero retraso para los usuarios finales.
Probando el sistema de IA de generación de texto Bloom que se ejecuta en la red Petals. Créditos de imagen: Kyle Wiggers / TechCrunch
En mis pruebas, generar texto usando Petals tomó entre un par de segundos para indicaciones básicas (p. ej., “Traduce la palabra ‘gato’ al español”) y más de 20 segundos para solicitudes más complejas (p. ej., “Escribe un ensayo con el estilo de Diderot sobre la naturaleza del universo”). Un aviso (“Explicar el significado de la vida”) tomó cerca de tres minutos, pero para ser justos, instruí al sistema para que respondiera con una respuesta más verbal (alrededor de 75 palabras) que las anteriores.
Créditos de imagen: Kyle Wiggers / TechCrunch
Eso es notablemente más lento que ChatGPT, pero también es gratis. Si bien ChatGPT no cuesta nada hoy, no hay garantía de que eso sea cierto en el futuro.
Borzunov no reveló qué tan grande es actualmente la red de Petals, excepto que se han unido a ella “múltiples” usuarios con “GPU de diferente capacidad” desde su lanzamiento a principios de diciembre. El objetivo es eventualmente introducir un sistema de recompensas para incentivar a las personas a donar su computación; los donantes recibirán “puntos Bloom” que pueden gastar en “mayor prioridad o mayores garantías de seguridad” o potencialmente intercambiarlos por otras recompensas, dijo Borzunov.
Limitaciones de la computación distribuida
Petals promete proporcionar una alternativa de bajo costo, si no completamente gratuita, a los servicios de generación de texto pagados que ofrecen proveedores como OpenAI. Pero los principales problemas técnicos aún no se han solucionado.
Lo más preocupante son las fallas de seguridad. Él página de GitHub para el proyecto Petals señala que, debido a la forma en que funciona Petals, es posible que los servidores recuperen el texto de entrada, incluido el texto destinado a ser privado, y lo registren y modifiquen de forma maliciosa. Eso podría implicar compartir datos confidenciales con otros usuarios en la red, como nombres y números de teléfono, o modificar el código generado para que se rompa intencionalmente.
Petals tampoco soluciona ninguno de los defectos inherentes a los principales sistemas de generación de texto de la actualidad, como su tendencia a generar texto tóxico y sesgado (consulte la sección “Limitaciones” en el Entrada de flor en el repositorio de Hugging Face). En una entrevista por correo electrónico, Max Ryabinin, científico investigador principal de Yandex Research, dejó en claro que Petals está destinado a la investigación y el uso académico, al menos en la actualidad.
“Petals envía datos intermedios… a través de la red pública, por lo que pedimos no usarlos para datos confidenciales porque otros pares pueden (en teoría) recuperarlos de las representaciones intermedias”, dijo Ryabinin. “Sugerimos a las personas que deseen usar Petals para datos confidenciales que configuren su propio enjambre privado alojado por organizaciones y personas de su confianza que estén autorizadas para procesar estos datos. Por ejemplo, varias empresas emergentes y laboratorios pequeños pueden colaborar y configurar un enjambre privado para proteger sus datos de otros y al mismo tiempo obtener los beneficios del uso de Petals”.
Al igual que con cualquier sistema distribuido, los usuarios finales también pueden abusar de Petals, ya sea por malos actores que buscan generar texto tóxico (por ejemplo, discurso de odio) o desarrolladores con aplicaciones particularmente intensivas en recursos. Raffel reconoce que Petals inevitablemente “enfrentará algunos problemas” al principio. Pero él cree que la misión —bajar la barrera para ejecutar sistemas generadores de texto— valdrá la pena los baches iniciales en el camino.
“Dado el éxito reciente de muchos esfuerzos organizados por la comunidad en aprendizaje automático, creemos que es importante continuar desarrollando estas herramientas y esperamos que Petals inspire otros proyectos de aprendizaje profundo descentralizados”, dijo Raffel.