Escalaron YouTube: ahora compartirán a todos con PlanetScale

Cuando el primero Los CTO de YouTube, Facebook y Dropbox generan una base de datos para iniciar una base de datos, usted sabe que algo especial está sucediendo bajo el capó. Jiten Vaidya y Sugu Sougoumarane guardaron YouTube de una pesadilla de escalabilidad al inventar y abrir OpenSourcing, un brillante sistema de almacenamiento de datos relacionales. Pero en la década transcurrida desde que trabajaron allí, la pareja se vio inundada por solicitudes de compañías de tecnología desesperadas por obtener ayuda para construir los andamios operativos necesarios para integrar realmente a Vitess.

Así que hoy los dos están revelando su nuevo inicio, PlanetScale, que facilita la creación de bases de datos de múltiples nubes que manejan enormes cantidades de información sin bloquear a los clientes en la infraestructura de Amazon, Google o Microsoft. Probada en batalla en YouTube, la tecnología podría permitir que las nuevas empresas se preocupen menos por su backend y se centren más en su propuesta de valor única. "Ahora no tienen que reinventar la rueda", me dice Vaidya. "Muchas empresas que enfrentan este problema de escalamiento terminan resolviéndolo mal en la empresa y ahora hay una manera de resolver ese problema usándonos para ayudar".

PlanetScale recaudó en silencio una ronda semilla de $ 3 millones en abril, dirigida por SignalFire y unida por un quién es quién de luminarias de ingeniería. Entre ellos se incluyen el cofundador y director de tecnología de YouTube, Steve Chen, CEO de Quora y ex director de tecnología de Facebook, Adam D'Angelo, el ex director de tecnología de Dropbox, Aditya Agarwal, cofundador de PayPal y Affirm, Max Levchin, cofundador de MuleSoft y director de tecnología Ross Mason, director de ingeniería de Google Parisa Tabriz y la primera ingeniera de Facebook y fundadora de South Park Commons Ruchi Sanghvi. Si alguien puede prever la necesidad de los servicios de implementación de Vitess, son estos líderes, quienes han lidiado con el aumento de los dolores de cabeza en las principales compañías tecnológicas.

Pero, ¿cómo puede una empresa escasa desafiar a los expertos en tecnología por la supremacía de la nube? Primero, trabajando realmente con ellos. La versión beta de PlanetScale que se está lanzando ahora permite a las empresas crear clusters de Vitess en su base de datos como servicio, propia a través de un acuerdo de licencia, o en AWS con Google Cloud y Microsoft Azure próximamente. Una vez que se establezcan estas integraciones con los gigantes tecnológicos, los clientes de PlanetScale pueden usarla como una interfaz para una configuración de múltiples nubes donde podrían guardar sus copias maestras de datos en AWS US-West con réplicas en Google Cloud en Irlanda y en otros lugares. Eso evita que las compañías se vuelvan dependientes de un proveedor y luego se atasquen con alzas de precios o problemas de servicio.

PlanetScale también promete defender los principios que sustentaron a Vitess. "Es nuestro valor que mantendremos todo en el código de consulta completamente de código abierto para que ninguno de nuestros clientes tenga que preocuparse por el bloqueo ", dice Vaidya.

Probado en batalla, aprobado por YouTube

Él y Sougoumarane se conocieron hace 25 años en el Indian Institute of Technology Bombay. En 1993, trabajaron juntos en la empresa pionera de bases de datos Informix antes de que se extinguiera. Sougoumarane finalmente fue contratado por Elon Musk como ingeniero temprano para X.com antes de que fuera adquirido por PayPal, y luego se fue a YouTube. Vaidya estaba trabajando en Google y la pareja se reunió cuando compró YouTube y Sougoumarane lo llevó al equipo.

“YouTube estaba creciendo muy rápidamente y la base de datos de relaciones que estaban usando con MySQL estaba cayendo a pedazos en las costuras ", recuerda Vaidya. Agregar más CPU y memoria a la base de datos no lo estaba cortando, por lo que el equipo creó Vitess. El middleware de fragmentación de escala horizontal para MySQL permite a los usuarios segmentar su base de datos para reducir el uso de la memoria y al mismo tiempo ser capaz de ejecutar operaciones rápidamente. YouTube ha manejado sin problemas esa infraestructura a 1.800 millones de usuarios desde entonces.

"Sugu y Mike Solomon inventaron e hicieron que Vitess fuera de código abierto desde el principio desde 2010 porque sabían que el problema de la escala no era solo para YouTube, y que estarían en otras compañías cinco o 10 años más tarde, tratando de resolver el mismo problema. "Vaidya explica. Eso resultó ser cierto, y ahora las principales aplicaciones como Square y HubSpot se ejecutan completamente en Vitess, con Slack ahora con un 30 por ciento a bordo.

Vaidya dejó YouTube en 2012 y se convirtió en el ingeniero principal de Endorse, que fue adquirido por Dropbox, donde trabajó durante cuatro años. Pero mientras tanto, la comunidad de ingenieros se desvió hacia las bases de datos no relacionales de estilo MongoDB, que Vaidya considera inferiores. Ve problemas de indexación y dice que si el sistema falla durante una operación, los datos pueden volverse inconsistentes, un gran problema para las aplicaciones de banca y comercio. “Creemos que las bases de datos de relaciones de escala horizontal son más elegantes y son algo que las empresas realmente necesitan.

Base de datos de leyendas reunidas

Harta de la herejía de la ingeniería, hace un año, Vaidya se comprometió a crear PlanetScale. Está compuesto por cuatro ofertas principales: capacitación profesional en Vitess, soporte a pedido para usuarios de Vitess de código abierto, base de datos como servicio de Vitess en los servidores de PlanetScale y licencias de software para clientes que desean ejecutar Vitess en las instalaciones o a través de otra nube. proveedores Permite a las empresas volver a compartir sus bases de datos sobre la marcha para reubicar los datos de los usuarios para cumplir con las regulaciones como GDPR, migrar de forma segura desde otros sistemas sin grandes cambios en la base de código, realizar cambios a pedido y ejecutarse en Kubernetes.

Los clientes de PlanetScale ahora incluyen al gigante indonesio de comercio electrónico Bukalapak, y está ayudando a que Booking.com, GitHub y New Relic migren a Vitess de código abierto. El crecimiento está aumentando repentinamente debido a las consultas entrantes. El mes pasado, cuando Square Cash se convirtió en la aplicación número 1, su equipo de ingeniería publicó una publicación en el blog que ensalzaba las virtudes de Vitess. Ahora todos buscan ayuda con el fragmentado de Vitess, y PlanetScale está esperando con los brazos abiertos. "Jiten y Sugu son leyendas y saben de primera mano lo que necesitan las empresas para tener éxito en este auge de los datos", dice Ilya Kirnos, socio fundador y CTO de SignalFire.

Los grandes proveedores de la nube están tratando de adaptarse a la tendencia de la base de datos relacional, con Cloud Spanner y Cloud SQL de Google, y AWS SQL y AWS Aurora de Amazon. Sus enormes redes y cofres de guerra de comercialización podrían suponer una amenaza. Pero Vaidya insiste en que si bien puede ser fácil obtener datos en estos sistemas, puede ser un dolor sacarlos. PlanetScale está diseñado para darles libertad de opcionalidad a través de su funcionalidad de nube múltiple para que sus huevos no estén todos en una sola canasta.

Encontrar el ajuste del mercado de productos es suficientemente difícil. Tratar de escalar repentinamente una aplicación popular al mismo tiempo que lidiar con todos los otros desafíos del crecimiento de una empresa puede volver locos a los fundadores. Pero si es lo suficientemente bueno para YouTube, las startups pueden confiar en que PlanetScale hará de las bases de datos una cosa menos de la que tienen que preocuparse.