Ashish Kakran Colaborador
A principios de la década de 2000, la mayoría del software crítico para el negocio estaba alojado en centros de datos privados. Pero con el tiempo, las empresas superaron su escepticismo y trasladaron aplicaciones críticas a la nube.
DevOps impulsó este cambio a la nube, ya que les dio a los tomadores de decisiones una sensación de control sobre las aplicaciones críticas para el negocio alojadas fuera de sus propios centros de datos.
Hoy en día, las empresas se encuentran en una fase similar de probar y aceptar el aprendizaje automático (ML) en sus entornos de producción, y uno de los factores que aceleran este cambio es MLOps.
Al igual que las nuevas empresas nativas de la nube, muchas empresas nuevas hoy en día son nativas de ML y ofrecen productos diferenciados a sus clientes. Pero la gran mayoría de las grandes y medianas empresas recién ahora están probando aplicaciones de ML o simplemente tienen dificultades para poner en producción modelos que funcionen.
Aquí hay algunos desafíos clave con los que MLOps puede ayudar:
Es difícil lograr que la colaboración de ML entre equipos funcione
Un modelo de ML puede ser tan simple como el que predice el abandono o tan complejo como el que determina los precios de Uber o Lyft entre San José y San Francisco. Crear un modelo y permitir que los equipos se beneficien de él es una tarea increíblemente compleja.
El espacio MLOps está en sus inicios hoy, pero tiene un enorme potencial porque permite a las organizaciones llevar la IA a los entornos de producción en una fracción del tiempo que lleva hoy.
Además de requerir una gran cantidad de datos históricos etiquetados para entrenar estos modelos, varios equipos deben coordinarse para monitorear continuamente la degradación del rendimiento de los modelos.
Hay tres roles principales involucrados en el modelado de ML, pero cada uno tiene diferentes motivaciones e incentivos:
Ingenieros de datos: Los ingenieros capacitados se destacan en recopilar datos de múltiples fuentes, limpiarlos y almacenarlos en los formatos correctos para que se pueda realizar el análisis. Los ingenieros de datos juegan con herramientas como ETL/ELT, almacenes de datos y lagos de datos, y están bien versados en el manejo de conjuntos de datos estáticos y de transmisión. Una canalización de datos de alto nivel creada por un ingeniero de datos podría verse así:
Créditos de imagen: Ashish Kakran, Thomvest Ventures
Científicos de datos: Estos son los expertos que pueden ejecutar regresiones complejas mientras duermen. Usando herramientas comunes como el lenguaje Python, Jupyter Notebooks y Tensorflow, los científicos de datos toman los datos proporcionados por los ingenieros de datos y los analizan, lo que da como resultado un modelo altamente preciso. A los científicos de datos les encanta probar diferentes algoritmos y comparar la precisión de estos modelos, pero después de eso, alguien debe hacer el trabajo para llevar los modelos a producción.
Ingenieros de IA/Ingenieros DevOps: Estos son especialistas que entienden la infraestructura, pueden llevar modelos a producción y, si algo sale mal, pueden detectar rápidamente el problema e iniciar el proceso de resolución.
MLOps permite que estas tres personas críticas colaboren continuamente para ofrecer implementaciones de IA exitosas.
La proliferación de herramientas ML
En el nuevo mundo ascendente dirigido por desarrolladores, los equipos pueden elegir entre una gran cantidad de herramientas para resolver sus problemas.
Source link