OpenAI está lanzando silenciosamente una nueva plataforma de desarrollo que permite a los clientes ejecutar los modelos de aprendizaje automático más nuevos de la empresa, como GPT-3.5, en capacidad dedicada. En capturas de pantalla de la documentación publicada en Twitter por usuarios con acceso temprano, OpenAI describe la próxima oferta, llamada Foundry, como “diseñada para clientes de vanguardia que ejecutan cargas de trabajo más grandes”.
“[Foundry allows] inferencia a escala con control total sobre la configuración del modelo y el perfil de rendimiento”, se lee en la documentación.
Si hay que creer en las capturas de pantalla, Foundry, cada vez que se lance, ofrecerá una “asignación estática” de capacidad de cómputo dedicada a un solo cliente. Los usuarios podrán monitorear instancias específicas con las mismas herramientas y paneles que usa OpenAI para construir y optimizar modelos. Además, Foundry proporcionará cierto nivel de control de versiones, lo que permitirá a los clientes decidir si actualizar o no a versiones de modelos más nuevos, así como un ajuste fino “más robusto” para los últimos modelos de OpenAI.
Foundry también ofrecerá compromisos de nivel de servicio, por ejemplo, tiempo de actividad y soporte de ingeniería en el calendario. Los alquileres se basarán en unidades informáticas dedicadas con compromisos de tres meses o un año; ejecutar una instancia de modelo individual requerirá una cantidad específica de unidades de cómputo (consulte el gráfico a continuación).
Las instancias no serán baratas. Ejecutar una versión liviana de GPT-3.5 costará $78 000 por un compromiso de tres meses o $264 000 por un compromiso de un año. Para poner eso en perspectiva, una de las supercomputadoras de última generación de Nvidia, la DGX Station, carreras $149,000 por unidad.
Twitter con ojos de águila y Reddit los usuarios notaron que uno de los modelos de generación de texto enumerados en el gráfico de precios de la instancia tiene una ventana de contexto máxima de 32k. (La ventana de contexto se refiere al texto que el modelo considera antes de generar texto adicional; las ventanas de contexto más largas permiten que el modelo “recuerde” más texto esencialmente). GPT-3.5, el último modelo de generación de texto de OpenAI, tiene una ventana de contexto máxima de 4k, lo que sugiere que este nuevo y misterioso modelo podría ser el tan esperado GPT-4, o un trampolín hacia él.
OpenAI está bajo una presión cada vez mayor para obtener ganancias después de una inversión multimillonaria de Microsoft. Según se informa, la empresa espera para ganar $ 200 millones en 2023, una miseria en comparación con los más de $ 1 mil millones que se han destinado a la puesta en marcha hasta ahora.
Los costos de cómputo son en gran parte los culpables. El entrenamiento de modelos de IA de última generación puede comandar más de millones de dólares, y ejecutarlos generalmente no es mucho más barato. Según el cofundador y director ejecutivo de OpenAI, Sam Altman, cuesta un unos centavos por chat para ejecutar ChatGPT, el chatbot viral de OpenAI, una cantidad nada despreciable teniendo en cuenta que ChatGPT tenía más de un millón de usuarios hasta diciembre pasado.
En los movimientos hacia la monetización, OpenAI lanzó recientemente una versión “pro” de ChatGPT, ChatGPT Plus, a partir de $ 20 por mes y se asoció con Microsoft para desarrollar Bing Chat, un controvertido chatbot (por decirlo suavemente) que captó la atención general. Según Semafor y La informaciónOpenAI planea introducir una aplicación móvil ChatGPT en el futuro y llevar su tecnología de lenguaje de IA a aplicaciones de Microsoft como Word, PowerPoint y Outlook.
Por separado, OpenAI continúa haciendo que su tecnología esté disponible a través del servicio Azure OpenAI de Microsoft, una plataforma de servicio de modelos centrada en el negocio, y mantiene Copilot, un servicio premium de generación de código desarrollado en asociación con GitHub.