Tavus aprovecha la IA generativa para impulsar videos personalizados con clonación de voz y rostro

Tavus aprovecha la IA generativa para impulsar videos personalizados con clonación de voz y rostro

La IA generativa ya se ve como la principal tendencia tecnológica de 2023. La capacidad de generar contenido nuevo a través de algoritmos ha sido impulsada en la conciencia pública por personas como ChatGPT, una tecnología de estilo chatbot entrenada en modelos de lenguaje grande (LLM) capaz de producir ensayos, poemas, letras, artículos periodísticos e incluso programas informáticos. Luego está DALL-E, del mismo OpenAI respaldado por Microsoft que generó ChatGPT, que tiene un propósito similar pero para creaciones visuales.

Si bien algunos han argumentado que las señales de ChatGPT La llegada de la IA a la corriente principalla verdad del asunto es que estamos apenas al comienzo de una nueva era de aplicaciones impulsadas por IA que transformarán casi todas las facetas de la industria, desde la búsqueda del consumidor y la fotografía de archivo hasta el marketing inmobiliario y de contenido.

Es en ese contexto que una nueva empresa llamada Tavus busca dejar su huella al permitir que las empresas creen videos “únicos” adaptados a un individuo específico, pero basados ​​completamente en una sola grabación inicial.

La idea es que un equipo de ventas y marketing, por ejemplo, pueda emitir un flujo interminable de lanzamientos de video a clientes potenciales, tal vez basándose en datos textuales que el cliente potencial envió a través de un formulario en línea. O tal vez un cazatalentos use la plataforma para enviar múltiples videos personalizados a candidatos potenciales utilizando datos recopilados de sus perfiles de LinkedIn.

Fundada en San Francisco en 2020 por el director ejecutivo Hassaan Raza y Quinn Favret, Y Combinator (YC) alumbre Tavus anunció hoy que ha recaudado 6,1 millones de dólares en una ronda inicial dirigida por el inversor de Silicon Valley, Sequoia, con la participación de una gran cantidad de patrocinadores de alto perfil, incluidos Accel Partners, Index Ventures, Lightspeed Ventures y YC Continuity.

Cómo funciona

Cualquier empresa que busque crear múltiples videos personalizados sabrá que es un proceso repetitivo que consume mucho tiempo: grabar el mismo mensaje con sustancialmente el mismo contenido, pero ajustado para diferentes clientes o candidatos. Eso es lo que Tavus busca abordar: permitir a los usuarios crear sus propias plantillas de video de IA en minutos y luego generar una cantidad ilimitada de versiones de un video desde esa fuente original.

El proceso de incorporación inicial requiere que el usuario, por ejemplo, un reclutador o un ejecutivo de ventas, grabe un video de 15 minutos basado en un guión proporcionado por Tavus, que se usa para entrenar la IA. Luego, el usuario registra una plantilla para cada campaña que desea crear.

Tavus: Lectura de un guión para crear una plantilla base. Créditos de imagen: Tavus

Usando un editor basado en la web, los usuarios pueden seleccionar qué elementos del video desean personalizar, especificando cada variable (por ejemplo, empresa, nombre del ejecutivo o ubicación), agregando llamadas a la acción, etc.

Tavus: Personalización de script con variables. Créditos de imagen: Tavus

Tavus también admite variables de formato más largo a través de fragmentos potenciados por ChatGPT para presentaciones más personalizadas, algo que, según Favret, ha sido muy solicitado por sus usuarios. Por ejemplo, el guión base con el que se crea un vídeo se puede configurar para incluir una introducción de una frase generada a partir del perfil de LinkedIn de una persona específica.

Tavus: Generando contenido personalizado. Créditos de imagen: Tavus

En esencia, Tavus se esfuerza por replicar lo que el software de marketing masivo ha estado haciendo en el ámbito del correo electrónico durante los años de burro, llevándolo al mundo de los videos, más atractivo visualmente. En verdad, esto podría generar algunas señales de alerta para algunos: ¿Serán receptivas las personas a un argumento de venta personalizado cuando descubran que el remitente realmente no se ha esforzado en hacer un video solo para ellos?

Pero más que eso, quizás haya algo un poco espeluznante en un video generado por IA que usa información personal recopilada de una base de datos: algo diseñado para ser personal podría finalmente parecer increíblemente impersonal cuando el usuario descubre cómo se hizo.

Las preguntas planteadas por tales escenarios seguirán surgiendo a medida que la IA se arraigue más en nuestra vida cotidiana. Favret se apresura a enfatizar que, si bien las ventas y el marketing son casos de uso obvios para su tecnología, no se trata únicamente de esas verticales: está viendo la aceptación de “un grupo ecléctico de usuarios”, incluidos reclutadores, decanos universitarios y ejecutivos de nivel C.

“Hay una idea errónea común de que Tavus solo trabaja con equipos de ventas y marketing”, dijo Favret. “Si bien este es nuestro enfoque, tenemos usuarios que aplican Tavus de formas innovadoras y poderosas a lo largo de todo el recorrido del cliente. Muchos de nuestros usuarios avanzados aplican Tavus ampliamente en sus organizaciones, incluso para el éxito del cliente, el producto, el reclutamiento y otras funciones relacionadas con la comercialización”.

¿Y quién exactamente se propone para la clonación?

“Por lo general, el usuario se clona a sí mismo, pero también es común que las empresas tengan una figura central, como un ejecutivo o un vocero, que grabe los videos para tener una imagen coherente de la empresa”, dijo Favret. “Tavus está diseñado para que todos los tipos de usuarios puedan clonarse fácilmente en minutos”.

Debajo del capó, Tavus dice que utiliza el aprendizaje automático para entrenar a un modelo en los gestos faciales y los movimientos de los labios, creando un sistema que imita de manera realista estos movimientos en sincronización con el audio sintetizado.

En cuanto a la implementación, las empresas pueden acceder a Tavus de dos formas principales: la mitad de sus usuarios lo utilizan a través de su panel web, mientras que los demás lo integran en sus propios sistemas a través de API o de forma nativa.

“Vemos con frecuencia que los equipos de ventas usan e implementan Tavus directamente a través de la plataforma, ya que pueden generar eficientemente grandes lotes de videos para campañas”, dijo Favret. “Otros equipos usarán Tavus de una manera más programática, integrándolo directamente dentro de sus sistemas. Esto permite a los usuarios crear flujos de trabajo ‘impulsados ​​por eventos’, donde se puede generar y enviar un video de Tavus después de un disparador”.

A modo de ejemplo “impulsado por eventos”, si un cliente potencial enviara un formulario en el sitio web de una empresa, la empresa podría generar y enviar automáticamente un video de Tavus personalizado a ese cliente potencial utilizando los datos que el cliente había enviado.

“Esto permite a las empresas capitalizar el momento oportuno para obtener el máximo de conversiones sin tener que esperar a que un miembro del equipo grabe el video”, dijo Favret.

Mal uso

En el extremo superior del espectro de IA generativa, estamos viendo a empresas como Microsoft y Google luchar para ver quién puede poner su inteligencia respectiva en manos de empresas y consumidores más rápido, una batalla que Microsoft parece estar ganando. presente. Al mismo tiempo, estamos viendo una gran cantidad de nuevas empresas de inteligencia artificial generativa que se destacan, como GlossAi, que usa inteligencia artificial para ayudar a las empresas a crear fácilmente parodias de marketing que se pueden compartir, mientras que Typeface está haciendo algo similar para la copia de marketing y la generación de imágenes en la empresa.

Específicamente para Tavus, existen empresas comparables desde hace algunos años, como Windsor, que hace algo similar, aunque con un fuerte enfoque en el comercio electrónico. También tenemos sede en Londres síntesisrespaldado por una franja de inversores de alto perfil, que se trata más de crear avatares digitales a partir de texto para usar en capacitación y videos instructivos.

Entonces, está claro que incluso antes de todo el bombo publicitario de la IA generativa de los últimos meses, hubo un movimiento creciente en el mundo de las empresas emergentes en esa dirección, que Tavus ahora busca capitalizar. De hecho, en su corta vida hasta el momento, Tavus ha ganado algunos clientes bastante grandes, como la empresa de datos de bienes raíces Coestrella y la escala tecnológica francesa AB Tasty.

Sin embargo, vale la pena considerar el posible mal uso de este tipo de tecnología. Por ejemplo, ¿hay algo que impida que alguien suba un video de otra persona hablando y luego cree nuevos videos a partir de esa plantilla? Ciertamente, no hay escasez de ejemplos de trampas falsas de todo el espectro de video y voz. Algunas empresas, como la puesta en marcha de los creadores de South Park vudú profundo, ya están recaudando efectivo de capital de riesgo para sus proyectos de falsificación profunda. A medida que este tipo de tecnología se vuelva más arraigada y normalizada dentro de la sociedad, habrá más preguntas sobre las implicaciones éticas de todo esto, incluso si las intenciones subyacentes son bien intencionadas.

Según Favret, Tavus tiene una función integrada que hace que sea más difícil engañar al sistema, ya que requiere que los usuarios realicen una verificación de voz y graben en vivo en la plataforma.

“Esto significa que los usuarios no pueden subir videos de otros hablando”, dijo Favret. “Además, los usuarios tienen todos los derechos sobre sus datos y semejanzas, lo que les permite borrar o eliminar sus videos en cualquier momento. También somos muy intencionales acerca de cómo se usa Tavus: examinamos cada caso de uso antes de que un usuario comience con Tavus, nos aseguramos de que el caso de uso cumpla con las pautas de nuestra comunidad y que sea ético. La seguridad y la ética son increíblemente importantes para nosotros, especialmente dada la juventud de esta tecnología en la sociedad”.

Muéstrame el dinero

En términos de modelo de negocio, Tavus ofertas un plan de introducción básico dirigido a empresas más pequeñas que cuesta $275 por mes y tiene restricciones como la cantidad de videos que pueden crear. El plan de “negocios” personalizado elimina estas restricciones, aunque no hay un precio anunciado; básicamente, adapta el precio de acuerdo con la forma en que la empresa pretende usarlo.

“Los planes de Tavus se personalizan según el caso de uso y las necesidades específicas de una empresa, pero en un alto nivel, operamos en un modelo basado en el uso, donde a los usuarios se les cobra en función de una combinación de la cantidad de asientos que tienen, así como la cantidad de videos que generan”, dijo Favret.

Antes de esta ronda inicial, Tavus había recaudado una pequeña cantidad como parte de su participación en el programa YC en 2021. Su lista completa de inversores de la ronda inicial incluye: Sequoia, Accel Partners, Index Ventures, Lightspeed Ventures, YC Continuity, SV Angel, Hack VC, Remus Capital, Mantis Capital, Liquid2 Ventures, Zillionize, Soma Capital, GTMfund, Terra Nova y varios inversores ángeles no revelados.


Source link