Si trabaja para una empresa que maneja una gran cantidad de datos, lo más probable es que su empresa mueva constantemente datos de aplicaciones, API y bases de datos y los envíe a un almacén de datos o un lago de datos. Hay algunas plataformas conocidas para extraer, cargar y transformar datos, como Fivetran y Stitchdata.
Airbyte está construyendo una plataforma de canalización de datos de código abierto. Una alternativa de código abierto a Fivetran o Stitchdata es interesante porque la construcción y el mantenimiento de conectores requieren una gran cantidad de recursos. Si recién está comenzando con su flujo de datos y no tiene un gran equipo, crea una barrera de entrada.
Claro, las plataformas de canalización de datos existentes ya brindan docenas de integraciones con fuentes y destinos populares. Las fuentes populares incluyen Salesforce, Stripe, Marketo, SendGrid, etc. Los destinos populares incluyen Redshift, Snowflake y BigQuery.
Pero hay un montón de pequeños servicios que no son compatibles con las plataformas tradicionales de canalización de datos. Si no puede importar todos sus datos, es posible que solo tenga una imagen parcial de su negocio.
Muchas empresas terminan construyendo conectores personalizados para sus aplicaciones. Con este enfoque de código abierto, Airbyte cree que puede fomentar una comunidad de usuarios para crear y mantener miles de conectores de código abierto. Cuando una empresa crea un conector personalizado, otra empresa puede usarlo, mejorarlo y retribuir a la comunidad.
“El enfoque de código abierto es el enfoque correcto”, me dijo el cofundador y director ejecutivo Michel Tricot. “Si alguien que usa un conector se da cuenta de que está roto, puede repararlo para toda la comunidad”.
El equipo detrás de Airbyte comenzó originalmente con un producto centrado en datos de marketing. Asistieron a Y Combinator y luego pivotaron debido al brote de coronavirus. “En un mundo COVID, no hay presupuesto de marketing”, me dijo el cofundador John Lafleur.
Los conectores Airbyte se ejecutan en contenedores Docker, lo que significa que todos funcionan de forma independiente entre sí. Puede programar actualizaciones, actualizar sus conectores manualmente y monitorearlos individualmente.
En este momento, hay 46 conectores: Airbyte está trabajando para certificarlos para asegurarse de que estén listos para producción. Actualmente 250 empresas utilizan Airbyte.
Source link