La creciente demanda de IA, en particular de IA generativa (es decir, IA que genera imágenes, texto y más), está sobrecargando el mercado de chips de inferencia de IA. Los chips de inferencia aceleran el proceso de inferencia de IA, que es donde los sistemas de IA generan resultados (p. ej., texto, imágenes, audio) en función de lo que aprendieron mientras se “entrenaban” en un conjunto específico de datos. Los chips de inferencia de IA se pueden usar, y se han usado, para generar generaciones más rápidas a partir de sistemas como Stable Diffusion, que traduce mensajes de texto en obras de arte, y GPT-3 de OpenAI, que extiende unas pocas líneas de prosa en poemas, ensayos y textos completos. más.
Varios proveedores, tanto nuevos como jugadores bien establecidos, están desarrollando y vendiendo activamente acceso a chips de inferencia de IA. Están Hailo, Mythic y Flex Logix, por nombrar algunos advenedizos. Y en el lado titular, Google compite por el dominio con sus unidades de procesamiento de tensor (TPU), mientras que Amazon apuesta por Inferentia. Pero la competencia, aunque feroz, no ha ahuyentado a empresas como NeuRealidadque ocupan el mercado de inferencia de chips de IA pero pretenden diferenciarse ofreciendo un conjunto de software y servicios para respaldar su hardware.
Sobre el tema, NeuReality anunció hoy que recaudó $35 millones en una ronda de financiación Serie A liderada por Samsung Ventures, Cardumen Capital, Varana Capital, OurCrowd y XT Hi-Tech con la participación de SK Hynix, Cleveland Avenue, Korean Investment Partners, StoneBridge, y Gloria Ventures. El cofundador y director ejecutivo, Moshe Tanach, le dice a TechCrunch que el tramo se destinará a finalizar el diseño del chip de inferencia de IA insignia de NeuReality a principios de 2023 y enviarlo a los clientes.
“NeuReality se fundó con la visión de construir una nueva generación de soluciones de inferencia de IA que se liberan de las arquitecturas tradicionales centradas en la CPU y ofrecen alto rendimiento y baja latencia, con la mejor eficiencia posible en costo y consumo de energía”, dijo Tanach a TechCrunch por correo electrónico. . “La mayoría de las empresas que pueden aprovechar la IA no tienen los fondos ni la enorme investigación y desarrollo que tienen Amazon, Meta y otras grandes empresas que invierten en IA. NeuReality llevará la tecnología de IA a cualquier persona que quiera implementarla de manera fácil y asequible”.
NeuReality fue cofundada en 2019 por Tzvika Shmueli, Yossi Kasus y Tanach, quien anteriormente se desempeñó como director de ingeniería en Marvell e Intel. Shmueli fue vicepresidente de infraestructura back-end en Mellanox Technologies y vicepresidente de ingeniería en Habana Labs. En cuanto a Kasus, ocupó el cargo de director sénior de ingeniería en Mellanox y fue el jefe de integraciones en la empresa de semiconductores EZchip.
Desde el principio, NeuReality se centró en llevar al mercado hardware de IA para centros de datos en la nube y computadoras “perimetrales”, o máquinas que se ejecutan en las instalaciones y realizan la mayor parte de su procesamiento de datos fuera de línea. Tanach dice que la línea de productos de generación actual de la startup, la Unidad de procesamiento conectada a la red (NAPU), está optimizada para aplicaciones de inferencia de IA, incluida la visión por computadora (piense en algoritmos que reconocen objetos en fotos), procesamiento de lenguaje natural (generación de texto y sistemas de clasificación ) y motores de recomendación (como los que sugieren productos en sitios de comercio electrónico).
NAPU de NeuReality es esencialmente un híbrido de múltiples tipos de procesadores. Puede realizar funciones como el equilibrio de carga de inferencia de IA, la programación de trabajos y la gestión de colas, que tradicionalmente se han realizado en software pero no necesariamente de manera muy eficiente.
Créditos de imagen: NeuRealidad
El NR1 de NeuReality, un SKU basado en FPGA dentro de la familia NAPU, es un “servidor en un chip” conectado a la red con un acelerador de inferencia de IA incorporado junto con capacidades de red y virtualización. NeuReality también ofrece el módulo NR1-M, un PCIe tarjeta que contiene un NR1 y un servidor de inferencia conectado a la red, y un módulo separado, el NR1-S, que empareja varios NR1-M con el NR1.
Por el lado del software, NeuReality ofrece un conjunto de herramientas, incluido un kit de desarrollo de software para cargas de trabajo locales y en la nube, un administrador de implementación para ayudar con los problemas de tiempo de ejecución y un panel de monitoreo.
“El software para la inferencia de IA [and] las herramientas para el cómputo heterogéneo y el flujo automatizado de compilación e implementación… es la magia que respalda nuestro innovador enfoque de hardware”, dijo Tanach. “Los primeros beneficiarios de la tecnología NAPU son las empresas y los proveedores de soluciones en la nube que necesitan infraestructura para respaldar sus bots de chat, bots de voz, transcripciones automáticas y análisis de sentimientos, así como casos de uso de visión artificial para escaneo de documentos, detección de defectos, etc.… Mientras el mundo se estaba centrando en las mejoras del procesador de aprendizaje profundo, NeuReality se centró en optimizar el sistema a su alrededor y las capas de software por encima para proporcionar una mayor eficiencia y un flujo mucho más fácil para implementar la inferencia”.
NeuReality, debe tenerse en cuenta, aún tiene que respaldar algunas de sus afirmaciones de rendimiento con evidencia empírica. Le dijo a ZDNet en un artículo reciente que estima que su hardware ofrecerá una mejora de 15 veces en el rendimiento por dólar en comparación con las GPU y ASIC disponibles que ofrecen los proveedores de aceleradores de aprendizaje profundo, pero NeuReality no ha publicado datos de evaluación comparativa de validación. La puesta en marcha tampoco ha detallado su protocolo de red patentado, un protocolo que, según afirmó anteriormente, tiene más rendimiento que las soluciones existentes.
Aparte de esos elementos, la entrega de hardware a gran escala no es fácil, especialmente cuando se trata de chips de inferencia de IA personalizados. Pero Tanach argumenta que NeuReality ha sentado las bases necesarias, asociándose con el fabricante de semiconductores Xilinx, propiedad de AMD, para la producción y firmando una asociación con IBM para trabajar en los requisitos de hardware para el NR1. (IBM, que también es socio de diseño de NeuReality, dijo anteriormente que está “evaluando” los productos de la startup para su uso en la nube de IBM). NeuReality ha estado enviando prototipos a los socios desde mayo de 2021, dice Tanach.
Según Tanach, más allá de IBM, NeuReality está trabajando con Lenovo, AMD y proveedores de soluciones en la nube no identificados, integradores de sistemas, proveedores de aceleradores de aprendizaje profundo y empresas que “consumen inferencias” en las implementaciones. Sin embargo, Tanach se negó a revelar cuántos clientes tiene actualmente la startup o cuál es su proyección aproximada en términos de ingresos.
“Vemos que la pandemia está ralentizando a las empresas y presionando para la consolidación entre los muchos proveedores de aprendizaje profundo. Sin embargo, para nosotros no cambia nada, ya que se espera que el despliegue de inferencia explote a fines del próximo año o en algún momento hasta 2024, y nuestra tecnología es exactamente el habilitador y el impulsor de ese crecimiento”, dijo Tanach. “NAPU traerá IA para un conjunto más amplio de empresas menos técnicas. También está configurado para permitir que los usuarios a gran escala, como los ‘hiperescaladores’ y los clientes de centros de datos de la próxima ola, respalden su creciente escala de uso de IA”.
Ori Kirshner, director de Samsung Ventures en Israel, agregó en un comunicado enviado por correo electrónico: “Vemos una necesidad sustancial e inmediata de soluciones de inferencia de mayor eficiencia y fáciles de implementar para centros de datos y casos de uso locales, y es por eso que están invirtiendo en NeuReality. Las tecnologías innovadoras de desagregación, movimiento de datos y procesamiento de la empresa mejoran los flujos de cómputo, los flujos de almacenamiento de cómputo y el cómputo en almacenamiento, todos los cuales son críticos para la capacidad de adoptar y hacer crecer las soluciones de IA”.
NeuReality, que actualmente tiene 40 empleados, planea contratar 20 más durante los próximos dos trimestres fiscales. Hasta la fecha, ha recaudado $38 millones en capital de riesgo.
Source link