Una de las sesiones más interesantes de Adobe MAX es tradicionalmente la keynote de Sneaks, donde los ingenieros de las distintas unidades de la compañía muestran sus trabajos más vanguardistas. A veces, esos se convierten en productos. A veces no lo hacen. En estos días, gran parte del trabajo se centra en la IA, a menudo basada en la plataforma Adobe Sensei. Este año, la compañía nos dio un vistazo temprano a Project Sweet Talk, uno de los adelantos destacados del evento de esta noche.
La idea aquí es bastante sencilla, pero difícil de lograr: toma un retrato, ya sea un dibujo o una pintura, identifica las diferentes partes de la cara y luego anima la boca en sincronía con una voz en off. Hoy en día, Character Animator de Adobe (que quizás hayas visto en programas como The Late Show con Stephen Colbert) hace algo de eso, pero tiene una cantidad limitada de animaciones y el resultado, incluso en manos de los mejores animadores, no es suficiente. Siempre luzca tan realista (en la medida de lo posible para el tipo de dibujos que anima en el producto). Project Sweet Talk es mucho más inteligente. Analiza la voz en off y luego usa su inteligencia artificial para animar de manera realista la boca y la cabeza del personaje.
El equipo, dirigido por el investigador de Adobe Dingzeyu Li, junto con Yang Zhou (Universidad de Massachusetts, Amherst) y José Echevarria y Eli Schectman (Adobe Research), en realidad alimentó su modelo con miles de horas de video de personas reales hablando a la cámara en Youtube. Sorprendentemente, ese modelo se transfirió muy bien al dibujo y la pintura, aunque los rostros con los que trabajó el equipo, incluidos dibujos bastante básicos de rostros de animales, en realidad no parecen rostros humanos.
“La animación es difícil y todos lo sabemos”, me dijo Li. “Si todos sabemos que si queremos alinear una cara con una pista de audio determinada, es aún más difícil. Adobe Charter Animator ya tiene una función llamada ‘computar sincronización de labios’ a partir del audio de la escena’ y eso muestra cuáles son las limitaciones”. La característica existente en Character Animator solo mueve la boca, mientras que todo lo demás permanece estático. Eso obviamente no es un aspecto muy realista. Si observa los ejemplos incrustados en esta publicación, verá que el equipo deforma inteligentemente las caras automáticamente para que se vean más realistas, todo desde una imagen JPG básica.
Debido a que deforma la cara, Project Sweet Talk no funciona tan bien en las fotos. Simplemente no se verían bien, y también significa que no hay necesidad de preocuparse de que nadie abuse de este proyecto para falsificaciones profundas. “Para generar un deepfake de aspecto realista, se necesitan muchos datos de entrenamiento”, me dijo Li. “En nuestro caso, solo nos enfocamos en los puntos de referencia, que se pueden predecir a partir de imágenes, y los puntos de referencia son suficientes para animar animaciones. Pero en nuestros experimentos, encontramos que los puntos de referencia por sí solos no son suficientes para generar una apariencia realista. [animation based on] fotos.”
Lo más probable es que Adobe incorpore esta función en Character Animator a largo plazo. Li también me dice que la creación de un sistema en tiempo real, similar a lo que es posible en Character Animator hoy en día, es una prioridad en la lista de prioridades del equipo.
Source link