En su conferencia anual GTC para desarrolladores de IA, Nvidia anunció hoy su arquitectura de GPU Hopper de próxima generación y la GPU Hopper H100, así como un nuevo chip de centro de datos que combina la GPU con una CPU de alto rendimiento, que Nvidia llama “Grace”. CPU Superchip” (que no debe confundirse con el Superchip Grace Hopper).
La GPU H100
Con Hopper, Nvidia está lanzando una serie de tecnologías nuevas y actualizadas, pero para los desarrolladores de IA, la más importante puede ser el enfoque de la arquitectura en los modelos de transformadores, que se han convertido en la técnica de aprendizaje automático de rigor para muchos casos de uso y que potencia los modelos. como GPT-3 y asBERT. El nuevo motor transformador en el chip H100 promete acelerar el entrenamiento del modelo hasta seis veces y debido a que esta nueva arquitectura también presenta el nuevo sistema NVLink Switch de Nvidia para conectar múltiples nodos, los grandes clústeres de servidores alimentados por estos chips podrán ampliarse para admitir redes masivas con menos gastos generales.
“Los modelos de IA más grandes pueden requerir meses para entrenarse en las plataformas informáticas actuales”, escribe Dave Salvator de Nvidia en el anuncio de hoy. “Eso es demasiado lento para las empresas. La inteligencia artificial, la computación de alto rendimiento y el análisis de datos están creciendo en complejidad con algunos modelos, como los de lenguaje grande, que alcanzan billones de parámetros. La arquitectura NVIDIA Hopper está construida desde cero para acelerar estas cargas de trabajo de IA de próxima generación con una potencia de cómputo masiva y una memoria rápida para manejar redes y conjuntos de datos en crecimiento”.
El nuevo Transformer Engine utiliza Tensor Cores del cliente que pueden combinar precisión de 8 bits y precisión media de 16 bits según sea necesario, manteniendo la precisión.
Créditos de imagen: nvidia
“El desafío para los modelos es administrar de manera inteligente la precisión para mantener la exactitud mientras se obtiene el rendimiento de formatos numéricos más pequeños y rápidos”, explica Salvatore. “Transformer Engine permite esto con heurísticas personalizadas y ajustadas por NVIDIA que eligen dinámicamente entre los cálculos FP8 y FP16 y manejan automáticamente la refundición y el escalado entre estas precisiones en cada capa”.
La GPU H100 contará con 80 mil millones de transistores y se construirá utilizando el proceso de 4nm de TSMC. Promete aceleraciones entre 1,5 y 6 veces respecto al Ampere GPU del centro de datos A100 que se lanzó en 2020 y utilizó el proceso de 7nm de TSMC.
Además del Transformer Engine, la GPU también contará con un nuevo componente informático confidencial.
Superchips Grace (Hopper)
Superchip de gracia
Grace CPU Superchip es la primera incursión de Nvidia en una CPU de centro de datos dedicada. El chip basado en Arm Neoverse contará con la friolera de 144 núcleos con 1 terabyte por segundo de ancho de banda de memoria. En realidad, combina dos CPU Grace conectadas a través de la interconexión NVLink de la empresa, que recuerda a la arquitectura del M1 Ultra de Apple.
La nueva CPU, que utilizará la memoria rápida LPDDR5X, estará disponible en la primera mitad de 2023 y promete ofrecer el doble de rendimiento que los servidores tradicionales. Nvidia estima que el chip alcanzará los 740 puntos en el benchmark SPECrate®2017_int_base, lo que de hecho lo pondría en competencia directa con los procesadores de centro de datos AMD e Intel de gama alta (aunque algunos de ellos obtienen una puntuación más alta, pero a costa de un menor rendimiento por vatio). ).
“Ha surgido un nuevo tipo de centro de datos: fábricas de IA que procesan y refinan montañas de datos para producir inteligencia”, dijo Jensen Huang, fundador y director ejecutivo de Nvidia. “El Superchip de CPU Grace ofrece el más alto rendimiento, ancho de banda de memoria y plataformas de software NVIDIA en un solo chip y brillará como la CPU de la infraestructura de IA del mundo”.
En muchos sentidos, este nuevo chip es la evolución natural del Superchip Grace Hopper y Grace CPU que la compañía anunció el año pasado (sí, estos nombres son confusos, especialmente porque Nvidia llamó al Superchip Grace Hopper el Nvidia Grace el año pasado). El superchip Grace Hopper combina una CPU y una GPU en un solo sistema en un chip. Este sistema, que también se lanzará en la primera mitad de 2023, contará con una GPU de memoria de 600 GB para modelos grandes y Nvidia promete que el ancho de banda de la memoria será 30 veces mayor en comparación con una GPU en un servidor tradicional. Estos chips, dice Nvidia, están destinados a IA de “escala gigante” y computación de alto rendimiento.
Grace CPU Superchip se basa en la arquitectura Arm v9 y se puede configurar como sistemas de CPU independientes o para servidores con hasta ocho GPU basadas en Hopper.
La compañía dice que está trabajando con “clientes líderes de HPC, supercomputación, hiperescala y nube”, por lo que es probable que estos sistemas lleguen a un proveedor de nube cerca de usted en algún momento del próximo año.
Source link