Los sistemas de inteligencia artificial más sofisticados de la actualidad son capaces de realizar hazañas impresionantes, desde dirigir automóviles por las calles de la ciudad hasta escribir prosa humana. Pero comparten un cuello de botella común: el hardware. El desarrollo de sistemas de última generación a menudo requiere una gran cantidad de potencia informática. Por ejemplo, la creación de AlphaFold, que predice la estructura de proteínas de DeepMind, requirió un grupo de cientos de GPU. Subrayando aún más el desafío, una fuente estimados que desarrollar el sistema GPT-3 de generación de lenguaje de la startup de inteligencia artificial OpenAI usando una sola GPU habría tomado 355 años.
Las nuevas técnicas y chips diseñados para acelerar ciertos aspectos del desarrollo de sistemas de IA prometen (y, de hecho, ya lo han hecho) reducir los requisitos de hardware. Pero el desarrollo con estas técnicas requiere experiencia que puede ser difícil de conseguir para las empresas más pequeñas. Al menos, esa es la afirmación de Varun Mohan y Douglas Chen, los cofundadores de la startup de infraestructura. exfuncion. Hoy, saliendo del sigilo, Exafunction está desarrollando una plataforma para abstraerse de la complejidad del uso de hardware para entrenar sistemas de IA.
“Mejoras [in AI] a menudo están respaldados por grandes aumentos en… la complejidad computacional. Como consecuencia, las empresas se ven obligadas a realizar grandes inversiones en hardware para obtener los beneficios del aprendizaje profundo. Esto es muy difícil porque la tecnología está mejorando muy rápidamente y el tamaño de la carga de trabajo aumenta rápidamente a medida que el aprendizaje profundo demuestra valor dentro de una empresa”, dijo Chen a TechCrunch en una entrevista por correo electrónico. “Los chips aceleradores especializados necesarios para ejecutar cálculos de aprendizaje profundo a escala son escasos. El uso eficiente de estos chips también requiere un conocimiento esotérico poco común entre los profesionales del aprendizaje profundo”.
Con $28 millones en capital de riesgo, $25 millones de los cuales provinieron de una ronda Serie A liderada por Greenoaks con la participación de Founders Fund, Exafunction tiene como objetivo abordar lo que considera el síntoma de la escasez de experiencia en IA: hardware inactivo. Las GPU y los chips especializados antes mencionados que se utilizan para “entrenar” los sistemas de IA, es decir, alimentar los datos que los sistemas pueden usar para hacer predicciones, con frecuencia se subutilizan. Debido a que completan algunas cargas de trabajo de IA con tanta rapidez, permanecen inactivos mientras esperan que otros componentes de la pila de hardware, como los procesadores y la memoria, se pongan al día.
Lukas Beiwald, fundador de la plataforma de desarrollo de IA Weights and Biases, informes que casi un tercio de los clientes de su empresa promedian menos del 15% de uso de GPU. Mientras tanto, en un 2021 encuesta encargado por Run:AI, que compite con Exafunction, solo el 17% de las empresas dijeron que pudieron lograr una “alta utilización” de sus recursos de IA, mientras que el 22% dijo que su infraestructura en su mayoría permanece inactiva.
Los costos se suman. De acuerdo a para Run:AI, el 38 % de las empresas tenía un presupuesto anual para la infraestructura de IA (incluidos los costos de hardware, software y nube) que excedía el millón de dólares en octubre de 2021. OpenAI es estimado haber gastado 4,6 millones de dólares en la formación de GPT-3.
“La mayoría de las empresas que operan en aprendizaje profundo entran en el negocio para poder concentrarse en su tecnología central, no para gastar su tiempo y ancho de banda preocupándose por optimizar los recursos”, dijo Mohan por correo electrónico. “Creemos que no hay un competidor significativo que aborde el problema en el que nos enfocamos, es decir, abstraer los desafíos de administrar hardware acelerado como GPU mientras brinda un rendimiento superior a los clientes”.
semilla de una idea
Antes de cofundar Exafunction, Chen era ingeniero de software en Facebook, donde ayudó a crear las herramientas para dispositivos como Oculus Quest. Mohan era líder tecnológico en la empresa emergente de entrega autónoma Nuro, responsable de administrar los equipos de infraestructura de autonomía de la empresa.
“A medida que nuestras cargas de trabajo de aprendizaje profundo [at Nuro] creció en complejidad y exigencia, se hizo evidente que no había una solución clara para escalar nuestro hardware en consecuencia”, dijo Mohan. “La simulación es un problema extraño. Quizás, paradójicamente, a medida que su software mejora, necesita simular aún más iteraciones para encontrar casos de esquina. Cuanto mejor sea su producto, más difícil tendrá que buscar para encontrar falibilidades. Aprendimos lo difícil que era esto de la manera difícil y dedicamos miles de horas de ingeniería a tratar de obtener más rendimiento de los recursos que teníamos”.
Créditos de imagen: exfuncion
exfuncion los clientes se conectan al servicio gestionado de la empresa o implementan el software de Exafunction en un clúster de Kubernetes. La tecnología asigna recursos de forma dinámica, trasladando la computación a “hardware rentable”, como instancias puntuales cuando estén disponibles.
Mohan y Chen objetaron cuando se les preguntó sobre el funcionamiento interno de la plataforma Exafunction, prefiriendo mantener esos detalles en secreto por ahora. Pero explicaron que, en un alto nivel, Exafunction aprovecha virtualización para ejecutar cargas de trabajo de IA incluso con disponibilidad limitada de hardware, lo que aparentemente conduce a mejores tasas de utilización y reduce los costos.
La reticencia de Exafunction a revelar información sobre su tecnología, incluso si admite chips aceleradores alojados en la nube como las unidades de procesamiento de tensor (TPU) de Google, es motivo de cierta preocupación. Pero para disipar dudas, Mohan, sin dar nombres, dijo que Exafunction ya está administrando GPU para “algunas de las empresas y organizaciones de vehículos autónomos más sofisticadas a la vanguardia de la visión por computadora”.
“Exafunction proporciona una plataforma que desacopla las cargas de trabajo del hardware de aceleración como las GPU, lo que garantiza una utilización máximamente eficiente: reduce los costos, acelera el rendimiento y permite que las empresas se beneficien al máximo del hardware… [The] La plataforma permite a los equipos consolidar su trabajo en una sola plataforma, sin los desafíos de unir un conjunto dispar de bibliotecas de software”, agregó. “Esperamos que [Exafunction’s product] será profundamente habilitante para el mercado, haciendo por el aprendizaje profundo lo que AWS hizo por la computación en la nube”.
Mercado creciente
Mohan podría tener planes grandiosos para Exafunction, pero la startup no es la única que aplica el concepto de asignación de infraestructura “inteligente” a las cargas de trabajo de IA. Beyond Run:AI, cuyo producto también crea una capa de abstracción para optimizar las cargas de trabajo de IA: Grid.ai ofertas software que permite a los científicos de datos entrenar modelos de IA a través del hardware en paralelo. Por su parte, Nvidia vende Empresa de IAun conjunto de herramientas y marcos que permite a las empresas virtualizar cargas de trabajo de IA en servidores certificados por Nvidia.
Pero Mohan y Chen ven un mercado accesible masivo a pesar de la multitud. En la conversación, posicionaron la plataforma basada en suscripción de Exafunction no solo como una forma de derribar las barreras al desarrollo de IA, sino también para permitir que las empresas que enfrentan restricciones en la cadena de suministro “desbloqueen más valor” del hardware disponible. (En los últimos años, por una variedad de razones diferentes, las GPU se han convertido en productos de moda). Siempre está la nube, pero, según el punto de Mohan y Chen, puede aumentar los costos. Uno estimar descubrió que entrenar un modelo de IA con hardware local es hasta 6,5 veces más económico que la alternativa menos costosa basada en la nube.
“Si bien el aprendizaje profundo tiene aplicaciones prácticamente infinitas, dos de las que más nos entusiasman son la simulación de vehículos autónomos y la inferencia de video a escala”, dijo Mohan. “La simulación se encuentra en el corazón de todo el desarrollo y validación de software en la industria de vehículos autónomos… El aprendizaje profundo también ha llevado a un progreso excepcional en el procesamiento de video automatizado, con aplicaciones en una amplia gama de industrias. [But] aunque las GPU son esenciales para las empresas de vehículos autónomos, su hardware suele subutilizarse, a pesar de su precio y escasez. [Computer vision applications are] también computacionalmente exigente, [because] cada nueva transmisión de video representa de manera efectiva una manguera contra incendios de datos, con cada cámara emitiendo millones de cuadros por día”.
Mohan y Chen dicen que el capital de la Serie A se destinará a expandir el equipo de Exafunction y “profundizar” el producto. La empresa también invertirá en la optimización de los tiempos de ejecución del sistema de IA “para las aplicaciones más sensibles a la latencia” (p. ej., conducción autónoma y visión artificial).
“Si bien actualmente somos un equipo fuerte y ágil centrado principalmente en la ingeniería, esperamos desarrollar rápidamente el tamaño y las capacidades de nuestra organización en 2022”, dijo Mohan. “En prácticamente todas las industrias, está claro que a medida que las cargas de trabajo se vuelven más complejas (y un número creciente de empresas desean aprovechar los conocimientos de aprendizaje profundo), la demanda de computación supera con creces [supply]. Si bien la pandemia ha resaltado estas preocupaciones, este fenómeno y los cuellos de botella relacionados están a punto de agudizarse en los próximos años, especialmente a medida que los modelos de vanguardia se vuelven exponencialmente más exigentes”.
Source link