Esta mañana, Vellum.ai dijo que había cerrado una ronda inicial de $ 5 millones. La compañía se negó a compartir quién era su inversor principal para la ronda, aparte de señalar que era una empresa de varias etapas, pero le dijo a TechCrunch que Rebel Fund, Eastlink Capital, Pioneer Fund, Y Combinator y varios ángeles participaron en la ronda.
La startup llamó la atención de TechCrunch por primera vez durante el día de demostración más reciente de Y Combinator (invierno de 2023) gracias a su enfoque en ayudar a las empresas a mejorar sus indicaciones generativas de IA. Dada la cantidad de modelos de IA generativos, la rapidez con que progresan y la cantidad de categorías comerciales que parecen estar listas para aprovechar los modelos de lenguaje extenso (LLM), nos gustó su enfoque.
Según las métricas que Vellum compartió con TechCrunch, al mercado también le gusta lo que está construyendo la startup. De acuerdo a AkashsharmaCEO y cofundador de Vellum, la startup tiene 40 clientes que pagan hoy, con un aumento de ingresos de alrededor de 25% a 30% por mes.
Para una empresa nacida en enero de este año, eso es impresionante.
Normalmente, en una breve actualización de financiación de este tipo, dedicaría un poco de tiempo a detallar la empresa y su producto, me centraría en el crecimiento y seguiría adelante. Sin embargo, como estamos discutiendo algo un poco incipiente, tomemos nuestro tiempo para hablar sobre la ingeniería rápida de manera más general.
Vitela de construcción
Sharma me dijo que él y sus cofundadores (Noa Flaherty y Sidd Seethepalli) eran empleados de Doverotra empresa de Y Combinator de la era de 2019, que trabajó con GPT 3 a principios de 2020 cuando se lanzó su versión beta.
Mientras estaban en Dover, crearon aplicaciones de inteligencia artificial generativa para escribir correos electrónicos de contratación, descripciones de puestos y similares, pero notaron que dedicaban demasiado tiempo a sus avisos y no podían versionar los avisos en producción ni medir su calidad. Por lo tanto, también necesitaban crear herramientas para el ajuste fino y la búsqueda semántica. La gran cantidad de trabajo manual se acumulaba, dijo Sharma.
Eso significaba que el equipo estaba invirtiendo tiempo de ingeniería en herramientas internas en lugar de construir para el usuario final. Gracias a esa experiencia y a los antecedentes en operaciones de aprendizaje automático de sus dos cofundadores, cuando se lanzó ChatGPT el año pasado, se dieron cuenta de que la demanda del mercado de herramientas para mejorar las indicaciones generativas de IA “iba a crecer exponencialmente”. Por lo tanto, vitela.
Flujos de trabajo de LLM dentro de Vellum. Créditos de imagen: Vitela
Ver que un mercado abre nuevas oportunidades para crear herramientas no es novedoso, pero los LLM modernos no solo pueden cambiar el mercado de IA en sí, sino que también podrían hacerlo más grande. Sharma me dijo que hasta el lanzamiento de LLM recientemente publicados “nunca fue posible usar lenguaje natural [prompts] para obtener resultados de un modelo de IA”. El cambio a aceptar entradas de lenguaje natural “hace que el [AI] mercado mucho más grande porque puede tener un gerente de producto o un ingeniero de software […] Literalmente, cualquiera puede ser un ingeniero rápido”.
Más potencia en más manos significa una mayor demanda de herramientas. Sobre ese tema, Vellum ofrece una forma para que los indicadores de IA comparen el resultado del modelo uno al lado del otro, la capacidad de buscar datos específicos de la empresa para agregar contexto a indicadores particulares y otras herramientas como pruebas y control de versiones que a las empresas les pueden gustar. para asegurarse de que sus avisos están escupiendo cosas correctas.
Pero, ¿qué tan difícil puede ser solicitar un LLM? Sharma dijo: “Es simple poner en marcha un prototipo impulsado por LLM y lanzarlo, pero cuando las empresas terminan tomando algo como [that] a la producción, se dan cuenta de que surgen muchos casos extremos, que tienden a proporcionar resultados extraños”. En resumen, si las empresas quieren que sus LLM sean buenos de manera consistente, necesitarán hacer más trabajo que simplemente despejar los resultados de GPT provenientes de las consultas de los usuarios.
Aún así, eso es un poco general. ¿Cómo utilizan las empresas indicaciones perfeccionadas en aplicaciones que requieren una ingeniería rápida para garantizar que sus resultados estén bien ajustados?
Para explicarlo, Sharma señaló una empresa de software de emisión de boletos de soporte que apunta a hoteles. Esta empresa quería crear una especie de agente LLM que pudiera responder preguntas como “¿Puede hacer una reserva para mí?”
Primero necesitaba un aviso que funcionara como un clasificador de escalada para decidir si la pregunta debe ser respondida por una persona o por el LLM. Si el LLM iba a responder a la consulta, el modelo debería entonces (estamos ampliando el ejemplo aquí por nuestra cuenta) ser capaz de hacerlo correctamente sin alucinar ni descarrilarse.
Por lo tanto, los LLM se pueden encadenar para crear una especie de lógica que fluya a través de ellos. La ingeniería rápida, entonces, no es simplemente jugar con los LLM para intentar que hagan algo caprichoso. Desde nuestro punto de vista, es algo más parecido a la programación en lenguaje natural. Necesitará su propio marco de herramientas, similar a otras formas de programación.
¿Qué tan grande es el mercado?
TechCrunch+ ha explorado por qué las empresas esperan que el mercado de IA generativa empresarial crezca en proporciones inmensas. Debería haber muchos mineros (clientes) que necesitarán picos y palas (herramientas de ingeniería rápidas) para aprovechar al máximo la IA generativa.
Vellum se negó a compartir su esquema de precios, pero señaló que sus servicios cuestan entre tres y cuatro cifras por mes. Cruzado con más de tres docenas de clientes, eso le da a Vellum una tasa de ejecución bastante saludable para una empresa en etapa inicial. Un aumento rápido en la demanda tiende a correlacionarse con el tamaño del mercado, por lo que es justo decir que realmente existe una fuerte demanda empresarial de LLM.
Esas son buenas noticias para la gran cantidad de empresas que crean, implementan o respaldan LLM. Dada la cantidad de nuevas empresas que hay en esa combinación, estamos viendo días brillantes y soleados por delante.
Source link