La plataforma impulsada por GPU de Nvidia para desarrollar y ejecutar IA conversacional que comprende y responde a solicitudes de lenguaje natural ha logrado algunos hitos clave y ha batido algunos récords que tienen grandes implicaciones para cualquiera que desarrolle su tecnología, que incluye empresas grandes y pequeñas, como gran parte de la El código que han usado para lograr estos avances es de código abierto, está escrito en PyTorch y es fácil de ejecutar.
Los mayores logros que Nvidia anunció hoy incluyen su rompiendo la marca de la hora en el entrenamiento BERT, uno de los modelos de lenguaje de IA más avanzados del mundo y un modelo de última generación ampliamente considerado como un buen estándar para el procesamiento del lenguaje natural. La plataforma de IA de Nvidia pudo entrenar el modelo en menos de una hora, un logro sin precedentes en solo 53 minutos, y el modelo entrenado pudo inferir con éxito (es decir, aplicar la capacidad aprendida lograda a través del entrenamiento para lograr resultados) en poco más de dos milisegundos (10 milisegundos se considera una marca de agua alta en la industria), otro récord.
Los avances de Nvidia no son solo motivo para presumir: estos avances escalan y brindan beneficios del mundo real para cualquier persona que trabaje con su hardware NLP conversacional de IA y GPU. Nvidia logró sus tiempos récord para el entrenamiento en uno de sus sistemas SuperPOD, que está compuesto por 92 sistemas Nvidia DGX-2H que ejecutan 1472 GPU V100, y logró la inferencia en las GPU Nvidia T4 que ejecutan Nvidia TensorRT, que superó el rendimiento de incluso CPU altamente optimizadas en muchos órdenes de magnitud. Pero está poniendo a disposición el código de capacitación BERT y la muestra BERT optimizada de TensorRT a través de GitHub para que todos puedan aprovechar.
Junto con estos hitos, el ala de investigación de Nvidia también construyó y entrenó el modelo de lenguaje más grande hasta la fecha basado en “Transformers”, que es la tecnología que también subyace a BERT. Este modelo personalizado incluye 8300 millones de parámetros masivos, lo que lo convierte en 24 veces el tamaño de BERT-Large, el modelo BERT central actual más grande. Nvidia ha titulado descaradamente este modelo “Megatrón”, y también ofreció el código PyTorch que usó para entrenar este modelo para que otros puedan entrenar sus propios modelos masivos de lenguaje basados en Transformer.
Source link