elementaluna startup que está construyendo una plataforma de datos basada en el popular Orquestador Dagster, anunció hoy que ha recaudado una ronda Serie B de $33 millones liderada por Georgian. Esta ronda también contó con la participación de los nuevos inversores 8VC y Human Capital, así como de los inversores existentes Sequoia, Index, Amplify, Hanover y Slow. La nueva ronda eleva la financiación total de la empresa a $ 48,8 millones.
Como suele ser el caso, el fundador de Dagster, Nick Schrock, también fundó Elementl después de muchos años en Facebook, donde también co-creó GraphQL. Schrock es actualmente el director de tecnología y presidente de la empresa, y su antiguo colega de Facebook, Pete Hunt, es ahora el director ejecutivo de la empresa. Como me dijo Hunt, había invertido en Elementl como parte de su ronda inicial de 2017, principalmente como una apuesta en Schrock. Hunt admitió que en ese momento, realmente no entendía la propuesta de valor de Dagster, pero a medida que trabajaba en más problemas de datos en Facebook y luego en Smyte, el servicio contra el abuso que cofundó y luego vendió a Twitter, el rápidamente se le hizo evidente la necesidad de una mejor orquestación de datos.
Créditos de imagen: elemental
“Me di cuenta de que existen grandes canales de datos complejos que están tomando decisiones muy serias, no solo eliminando publicaciones en las redes sociales, sino también decidiendo quién obtiene una hipoteca, todo eso. Una vez que llega a cierto tamaño, cada empresa es una empresa de datos y cada empresa tiene una plataforma de datos”, dijo Hunt. Esto también significa que administrar sus canalizaciones de datos es uno de los mayores desafíos para muchas empresas.
flujo de aire apache sigue siendo una de las herramientas más populares para construir estos pipelines (y hay muchas startups que apuestan por ella), pero Schrock buscaba construir un sistema más moderno y optimizado para el mundo de la nube, DevOps y contenedores. Pero el equipo también reconsideró las canalizaciones de datos desde una perspectiva de alto nivel. “La forma en que las personas han construido históricamente canalizaciones de datos es que piensan en términos de tareas. Entonces, del paso A al paso B, y luego haz el paso C. Dentro de esos pasos, podrían hacer cualquier cosa y realmente no lo sabes: podrían escribir en alguna base de datos de una manera que no esperas y no tienes forma de controlar eso o tener observabilidad en ese paso”, explicó Hunt.
Créditos de imagen: elemental
Elementl reconsideró esto con lo que llama un activo de datos (que podría ser una tabla en un almacén de datos o un archivo que se encuentra en un lago de datos) en su núcleo. Entonces, en lugar de pensar en las tareas como la abstracción central, Elementl (y Dagster) se enfocan en los activos de datos. “Al centrar esta noción de un activo en el núcleo de nuestro sistema, obtenemos un registro de cada activo de datos en la organización y cada transición de estado por la que ha pasado, junto con todos los metadatos asociados con él. Ese es un modelo mental que a los desarrolladores les encanta”, dijo Hunt.
Dado que compite con herramientas bien probadas como Apache Airflow, Dagster también debe funcionar bien para grandes organizaciones, y también debe ser un proyecto legítimo de código abierto. Al igual que la mayoría de las nuevas empresas de código abierto, la compañía está superponiendo funciones empresariales como inicio de sesión único, acceso basado en roles y soporte para equipos además del proyecto de código abierto a medida que desarrolla su oferta comercial. Y dado que Airflow es tan popular, el equipo también recientemente lanzó una herramienta que permite a los usuarios actuales de Airflow ejecutar canalizaciones de datos escritas para Airflow en Dagster.
En el transcurso del último año, la cantidad de proyectos activos que usan Dagster se ha triplicado, dice la compañía, al igual que la comunidad de código abierto en general a su alrededor. Actualmente, empresas como DoorDash, Flexport y Aritzia utilizan Dagster en producción.
“Dagster se creó desde cero para brindar una experiencia transformadora a los desarrolladores y, al mismo tiempo, respaldar los casos de uso más exigentes en ingeniería de datos. Nuestras abstracciones únicas y el enfoque de prioridad de los activos realmente están resonando entre los profesionales de datos, y estamos viendo cómo se desarrolla.
en nuestras métricas clave de crecimiento”, dijo Schrock.
La compañía planea utilizar la mayor parte de los nuevos fondos para desarrollar su organización de lanzamiento al mercado.
“Nuestro equipo de I+D adoptó Dagster para la orquestación de datos hace más de un año después de una evaluación de las soluciones en el espacio. Estamos impresionados con la forma en que Dagster ha acelerado la productividad y la capacidad de nuestro equipo de ingeniería para enviar eficientemente canalizaciones de datos de grado de producción”. dijo Emily Walsh, inversionista principal de Georgian.
Source link