El auge de las arquitecturas de transmisión (marcos de componentes de software creados para ingerir y procesar grandes volúmenes de datos de múltiples fuentes) está impulsando la demanda de una mayor confiabilidad y rendimiento. Los equipos de ingeniería a menudo codifican datos para mejorar el rendimiento de la aplicación mediante el uso de lo que se conoce como “sobres de mensajes”. Pero estos agregan complejidad y tienden a ser difíciles y costosos de depurar.
Daniel Selans y Ustin Zarubin, ingenieros de oficio que trabajaron en New Relic, InVision, DigitalOcean y Community.com, pensaron que lo que se necesitaba era una forma de detectar comportamientos anómalos en flujos de datos codificados. Después de tener problemas con los marcos de transmisión de datos, cofundaron Streamdalque no solo alerta a los usuarios sobre problemas de transmisión, sino que también puede transformar los datos en curso y reprocesar los datos rotos sobre la marcha.
“Vimos la necesidad de más información procesable para la transmisión de datos en sistemas distribuidos”, dijo Selans a TechCrunch en una entrevista por correo electrónico. “Los enfoques alternativos no pueden hacer una introspección de los datos de transmisión y, en su lugar, confiar en métricas basadas en metadatos. Además, dado que la mayoría de las empresas que utilizan la transmisión también utilizan algún tipo de codificación de datos, no existen herramientas que puedan leer esos datos codificados”.
Más allá del monitoreo de problemas de datos críticos, Streamdal utiliza IA, incluidos algoritmos de procesamiento de lenguaje natural, para detectar información de identificación personal en transmisiones y tomar medidas al respecto (p. ej., redactarla). La compañía también mantiene un paquete de código abierto, Plumber, que se puede usar para profundizar en flujos de datos y conectar sistemas de transmisión dispares entre sí.
Créditos de imagen: Streamdal
Las capacidades futuras podrían incluir proporcionar un linaje más detallado a través de flujos de datos y analizar datos en curso para cambios de esquema, dice Selans.
Selans ve a Streamdal compitiendo principalmente contra equipos de ingeniería internos que han creado soluciones personalizadas y diseñadas específicamente para sus empleadores. No tenía la libertad de nombrar a muchos clientes por “motivos contractuales”, pero reveló que Recharge y ParkMobile se encuentran entre los clientes de pago de perfil más alto de Streamdal. Mientras tanto, Plumber se ha descargado más de 150.000 veces, afirma Selans.
“Estamos ayudando a las empresas a monitorear y analizar semánticamente miles de millones de eventos en sus arquitecturas basadas en eventos para problemas de datos, como cambios de esquema en tiempo real que, de lo contrario, podrían provocar posibles interrupciones de los clientes”, dijo Selans.
En cuanto a los vientos en contra económicos actuales y si podrían afectar los negocios, Selans no cree que lo hagan. “Creemos que incluso con los despidos generalizados, las empresas aún necesitan mantener su arquitectura basada en eventos para impulsar sus sistemas distribuidos, e incluso pueden requerir soporte adicional para administrar estos sistemas complejos”, agregó.
Streamdal mismo, un graduado de Y Combinator, parece estar bien posicionado para capear la tormenta, habiendo recaudado $ 5.4 millones en una ronda semilla liderada por Work-Bench con la participación de Crosscut, Verissimo, Data Council e inversores ángeles anónimos. Hasta la fecha, la empresa ha recaudado 7,2 millones de dólares en financiación de riesgo, que, según Selans, se destina a contrataciones estratégicas (Streamdal tiene un equipo de diez personas), productos e iniciativas de comercialización.
Kelley Mak, socio de Work-Bench, agregó en una declaración enviada por correo electrónico: “Gracias a la proliferación de arquitecturas de datos modernas y el gran volumen de datos que se procesan en los sistemas distribuidos, implementar las medidas de protección de rendimiento de datos correctas para los sistemas distribuidos es un desafío para muchos. Desde los servicios financieros hasta las industrias altamente reguladas, es fundamental que las organizaciones reaccionen de manera proactiva a los “datos incorrectos” para evitar cualquier interrupción en el lado del cliente. Los fundadores han vivido este dolor en sus vidas pasadas como ingenieros… no podríamos estar más de acuerdo con su misión de ser el estándar de rendimiento de datos para sistemas basados en eventos para equipos de ingeniería”.
Source link