En la búsqueda de un desarrollo de sistemas de IA más rápido y eficiente, Intel, Arm y Nvidia hoy publicado un borrador de especificación a lo que se refieren como un formato de intercambio común para IA. Si bien es voluntario, el estándar propuesto de “coma flotante de 8 bits (FP8)”, dicen, tiene el potencial de acelerar el desarrollo de la IA al optimizar el uso de la memoria del hardware y el trabajo tanto para el entrenamiento de la IA (es decir, la ingeniería de sistemas de IA) como para la inferencia (ejecutar el sistemas).
Al desarrollar un sistema de IA, los científicos de datos se enfrentan a opciones de ingeniería clave que van más allá de la simple recopilación de datos para entrenar el sistema. Uno es seleccionar un formato para representar los pesos del sistema; los pesos son los factores aprendidos de los datos de entrenamiento que influyen en las predicciones del sistema. Los pesos son los que permiten que un sistema como GPT-3 genere párrafos completos a partir de un indicador de una oración, por ejemplo, o DALL-E 2 para crear retratos fotorrealistas a partir de una leyenda.
Los formatos comunes incluyen punto flotante de precisión media, o FP16, que usa 16 bits para representar los pesos del sistema, y precisión simple (FP32), que usa 32 bits. La precisión media y menor reducen la cantidad de memoria requerida para entrenar y ejecutar un sistema de IA mientras aceleran los cálculos e incluso reducen el ancho de banda y el uso de energía. Pero sacrifican algo de precisión para lograr esas ganancias; después de todo, 16 bits es menos para trabajar que 32.
Sin embargo, muchos en la industria, incluidos Intel, Arm y Nvidia, se están uniendo en torno a FP8 (8 bits) como el punto ideal. En una publicación de blog, el director de marketing de productos de Nvidia, Shar Narasimhan, señala que el formato propuesto mencionado anteriormente, que es FP8, muestra una “precisión comparable” a precisiones de 16 bits en casos de uso que incluyen visión por computadora y sistemas de generación de imágenes al tiempo que ofrece aceleraciones “significativas”. .
Nvidia, Arm e Intel dicen que están haciendo su formato FP8 sin licencia, en un formato abierto. Un libro blanco lo describe con más detalle; Narasimhan dice que las especificaciones se enviarán al IEEE, la organización profesional que mantiene los estándares en una serie de dominios técnicos, para su consideración en una fecha posterior.
“Creemos que tener un formato de intercambio común permitirá avances rápidos y la interoperabilidad de las plataformas de hardware y software para hacer avanzar la informática”, Narasimhan.
El trío no está presionando por la paridad por la bondad de sus corazones, necesariamente. La arquitectura GH100 Hopper de Nvidia implementa de forma nativa FP8, al igual que el conjunto de chips de entrenamiento Gaudi2 AI de Intel.
Pero un formato FP8 común también beneficiaría a rivales como SambaNova, AMD, Groq, IBM, Graphcore y Cerebras, todos los cuales han experimentado o adoptado alguna forma de FP8 para el desarrollo de sistemas. en un Blog En una publicación de julio, el cofundador y CTO de Graphcore, Simon Knowles, escribió que “el advenimiento del punto flotante de 8 bits ofrece tremendos beneficios de rendimiento y eficiencia para el cómputo de IA”, afirmando que también es “una oportunidad” para que la industria se establezca en un ” estándar único y abierto” en lugar de marcar el comienzo de una combinación de formatos competitivos.
Source link