La empresa es optimista sobre los sistemas de inteligencia artificial que pueden comprender y generar texto, conocidos como modelos de lenguaje. De acuerdo a un encuesta por John Snow Labs, el 60 % de los presupuestos de los líderes tecnológicos para tecnologías de lenguaje de IA aumentaron al menos un 10 % en 2020. Y un proveedor, OpenAI, dice que su modelo de lenguaje principal, GPT-3, está siendo utilizado por decenas de miles de desarrolladores
Ansiosos por una porción del pastel, en los últimos años se han materializado nuevos proveedores que afirman traer capacidades únicas de modelado de lenguaje a la mesa. Más allá de las empresas emergentes con buenos recursos como OpenAI, Cohere y Hugging Face, hay una cultivo de proveedores que crean servicios sobre modelos de IA de código abierto. Sentado en algún lugar en el medio es Laboratorios AI21una empresa israelí que desarrolló un modelo, Jurassic-1 Jumbo, que es aproximadamente del tamaño de GPT-3, y lentamente construyó productos a su alrededor, incluida una plataforma de “IA como servicio” llamada AI21 Studio que permite a los clientes crear asistentes virtuales, chatbots, herramientas de moderación de contenido y más.
Los inversores perciben una oportunidad, evidentemente. Hoy, AI21 Labs cerró una ronda Serie B de $64 millones que valora a la compañía en $664 millones. Dirigido por Ahren Innovation Capital Fund con la participación del CEO y cofundador de Mobileye, Amnon Shashua, Walden Catalyst, Pitango, TPY Capital y Mark Leslie, el tramo eleva el capital total recaudado de A21Labs a $118,5 millones.
El cofundador y director ejecutivo, Ori Goshen, dijo que el nuevo dinero se destinará a I+D, particularmente al desarrollo de modelos de lenguaje más grandes y sofisticados, y al reclutamiento de talento. AI21 Labs tiene actualmente 120 empleados y planea contratar alrededor de 50 más para fin de año, desafiando la tendencia macroeconómica.
“Afortunadamente, la pandemia ha tenido un impacto positivo en los negocios: a medida que más empresas migraron al trabajo remoto, las personas necesitaban transmitir en texto escrito lo que normalmente compartirían verbalmente”, dijo Goshen a TechCrunch en una entrevista por correo electrónico. “[Our] Las capacidades centrales de los modelos patentados de lenguaje grande permiten la ingestión de cantidades masivas de datos corporativos para hacer… creación, resumen y clasificación de contenido personalizado”.
AI21 Labs fue cofundado en 2017 por Goshen, Shashua y el profesor de la Universidad de Stanford, Yoav Shoham. El primer producto de la compañía fue Wordtune, una ayuda de escritura impulsada por inteligencia artificial destinada a competir con Grammarly, que sugiere reformular el texto donde sea que los usuarios escriban. AI21 Studio se lanzó en agosto pasado, junto con un servicio de “pago por uso” que permite a los desarrolladores solicitar acceso a modelos personalizados ajustados en conjuntos de datos únicos para sus requisitos.
AI21 Labs ofrece una gama de parámetros de ajuste para personalizar la salida de sus modelos. Créditos de imagen: Laboratorios AI21
Dentro de AI21 Studio, la familia de modelos Jurassic-1 de AI21 Labs se puede utilizar para parafrasear (como generar nombres cortos de productos a partir de la descripción del producto), extraer cifras del texto y etiquetar correos electrónicos y notas por tema o categoría. Los modelos también pueden resumir el contenido a través de una función en Wordtune denominada Wordtune Read, que incluye fragmentos de artículos, informes y archivos PDF.
Debido a que están capacitados con grandes cantidades de datos de Internet, incluidas las redes sociales, los modelos de lenguaje son capaces de generar texto tóxico y sesgado basado en un lenguaje similar al que encontraron durante el entrenamiento. Los modelos de AI21 Labs no son diferentes; en las primeras pruebas, un investigador pudo inmediato que digan “las personas que aman a los judíos son de mente cerrada”. Si bien AI21 Labs requiere que los clientes acepten una política de términos de uso y pautas de uso, no ha implementado filtros para contenido potencialmente tóxico generado por sus API.
AI21 Labs, que dice que revisa manualmente las solicitudes de modelos ajustados para combatir el abuso, ha afirmado que sus modelos son “ligeramente menos sesgados” que GPT-3.
Independientemente, según Goshen, los modelos tienen la ventaja de que se complementan con fuentes de conocimiento externas como Wikipedia. La última versión del modelo Jurassic-1 de AI21 Labs, Jurassic-X, utiliza lo que Goshen llama un “sistema de conocimiento de razonamiento modular” para mejorar sus respuestas con “expertos en razonamiento discreto”, como calculadoras en línea y convertidores de divisas. Como resultado, Jurassic-X puede responder operaciones matemáticas “no triviales” expresadas en lenguaje natural, dice Goshen, así como simplificar preguntas “complejas” que podrían hacer tropezar con otros modelos de lenguaje.
Por supuesto, vale la pena señalar que AI21 Labs no ha encargado una comparación de sus modelos Jurassic-X con otros modelos de lenguaje comercial, por lo que solo tenemos que continuar con las afirmaciones.
El cuestionable truco de marketing reciente de la compañía no infunde una confianza enorme. En junio, AI21 Labs lanzó un chatbot se inspiró en las opiniones legales de la difunta jueza de la Corte Suprema Ruth Bader Ginsburg que varios expertos en tecnología de IA caracterizaron como engañosas. En respuesta a las críticas, AI21 Labs dijo que el chatbot era “solo un experimento” y admitió que puede dar respuestas inexactas que deben tomarse “con pinzas”.
Cuando se le preguntó, Goshen se negó a revelar cifras de ingresos firmes o incluso estimaciones de crecimiento. Pero dijo que Studio tiene “cientos” de clientes que pagan y socios de diseño, ninguno de los cuales estaba dispuesto a identificar por su nombre, además de más de 10,000 usuarios de su plan gratuito, mientras que Wordtune tiene “millones” de usuarios.
Dado el costo de entrenar modelos sofisticados, es probable que haya una presión significativa de los inversionistas para expandirse. Propio de AI21 Labs investigar fija los gastos para desarrollar un modelo de generación de texto con 1.500 millones de parámetros (es decir, variables que el modelo usa para generar y analizar texto) en hasta $1.6 millones. Jurassic-1 Jumbo contiene 178 parámetros. Eso no tiene en cuenta los costos de alojamiento para servir a los modelos; AI21 Labs dice que conserva los servicios de “varios” proveedores de nube de terceros tanto en los EE. UU. como en el extranjero.
“[There’s a lack] de conocimiento del mercado porque la tecnología del modelo de lenguaje es muy incipiente y recién comienza a ser adoptada”, dijo Goshen. “Con la nueva financiación, AI21 Labs continuará con su misión de construir sistemas de IA con una capacidad sin precedentes para comprender y generar lenguaje natural”.
Source link