AWS lanza sus instancias de GPU de próxima generación

AWS hoy Anunciado el lanzamiento de sus instancias más nuevas equipadas con GPU. Apodado P4d, estos nuevas instancias se lanzan una década después de que AWS lanzara su primer conjunto de instancias de GPU de clúster. Esta nueva generación está impulsada por procesadores Intel Cascade Lake y ocho de las GPU A100 Tensor Core de Nvidia. AWS promete que estas instancias ofrecen hasta 2,5 veces el rendimiento de aprendizaje profundo de la generación anterior, y entrenar un modelo comparable debería ser aproximadamente un 60% más barato con estas nuevas instancias.

Por ahora, solo hay una talla disponible, la instancia p4d.24xlarge, en la jerga de AWS, y las ocho GPU A100 están conectadas a través de Nvidia Interfaz de comunicación NVLink y ofrecer apoyo a la empresa Interfaz GPUDirect así como.

Con 320 GB de memoria GPU de alto ancho de banda y redes de 400 Gbps, esta es obviamente una máquina muy poderosa. Agregue a eso los 96 núcleos de CPU, 1.1 TB de memoria del sistema y 8 TB de almacenamiento SSD y tal vez no sea una sorpresa que el precio bajo demanda sea de $ 32.77 por hora (aunque ese precio baja a menos de $ 20 / hora por un año instancias reservadas y $ 11.57 para instancias reservadas de tres años.

En el extremo extremo, puede combinar 4000 o más GPU en un EC2 UltraCluster, como AWS llama a estas máquinas, para cargas de trabajo informáticas de alto rendimiento en lo que es esencialmente una máquina a escala de supercomputadora. Dado el precio, no es probable que desarrolle uno de estos clústeres para entrenar su modelo para su aplicación de juguete en el corto plazo, pero AWS ya ha estado trabajando con varios clientes empresariales para probar estas instancias y clústeres, incluido el Toyota Research Institute. , GE Healthcare y Aon.

“A [Toyota Research Institute], estamos trabajando para construir un futuro en el que todos tengan la libertad de moverse ”, dijo Mike Garrison, Jefe Técnico, Ingeniería de Infraestructura en TRI. “Las instancias P3 de la generación anterior nos ayudaron a reducir nuestro tiempo para entrenar modelos de aprendizaje automático de días a horas y esperamos utilizar instancias P4d, ya que la memoria GPU adicional y los formatos flotantes más eficientes permitirán a nuestro equipo de aprendizaje automático entrenar con más modelos complejos a una velocidad aún más rápida “.