Los artistas de VFX muestran que Hollywood puede usar la IA para crear, no para explotar

Puede que Hollywood esté envuelto en disputas laborales en curso que involucran a la IA, pero la tecnología se infiltró en el cine y la televisión hace mucho, mucho tiempo. En SÍGRAFO En Los Ángeles, se exhibieron herramientas algorítmicas y generativas en innumerables charlas y anuncios. Puede que todavía no sepamos dónde encajan productos como GPT-4 y Stable Diffusion, pero el lado creativo de la producción está listo para adoptarlos, si se puede hacer de una manera que aumente a los artistas en lugar de reemplazarlos.

SIGGRAPH no es una conferencia sobre producción de cine y televisión, sino sobre gráficos por ordenador y efectos visuales (¡desde hace 50 años!), y los temas, naturalmente, se han superpuesto cada vez más en los últimos años.

Este año, el elefante en la sala fue la huelga, y pocas presentaciones o charlas se abordaron; sin embargo, en las fiestas posteriores y en los eventos de networking fue más o menos lo primero que mencionaron. Aun así, SIGGRAPH es en gran medida una conferencia sobre cómo reunir mentes técnicas y creativas, y la sensación que sentí fue “apesta, pero mientras tanto podemos seguir mejorando nuestro oficio”.

Los temores en torno a la IA en la producción son, por no decir ilusorios, pero ciertamente un poco engañosos. La IA generativa, como los modelos de imagen y texto, ha mejorado enormemente, lo que genera preocupaciones de que reemplacen a escritores y artistas. Y ciertamente los ejecutivos de los estudios han planteado esperanzas dañinas (y poco realistas) de reemplazar parcialmente a los escritores y actores que utilizan herramientas de inteligencia artificial. Pero la IA ha estado presente en el cine y la televisión durante bastante tiempo, desempeñando tareas importantes impulsadas por los artistas.

Vi esto reflejado en numerosos paneles, presentaciones de artículos técnicos y entrevistas. Por supuesto, sería interesante una historia de la IA en VFX, pero por el momento aquí hay algunas formas en que la IA en sus diversas formas se mostró a la vanguardia de los efectos y el trabajo de producción.

Los artistas de Pixar ponen a trabajar el ML y las simulaciones

Un ejemplo temprano apareció en un par de presentaciones de Pixar sobre las técnicas de animación utilizadas en su última película, Elemental. Los personajes de esta película son más abstractos que otros, y la perspectiva de crear una persona hecha de fuego, agua o aire no es fácil. Imagínese combinar la complejidad fractal de estas sustancias en un cuerpo que pueda actuar y expresarse claramente sin dejar de parecer “real”.

Como explicaron uno tras otro los animadores y coordinadores de efectos, la generación de procedimientos fue fundamental para el proceso, simulando y parametrizando las llamas, las ondas o los vapores que componían decenas de personajes. Esculpir y animar a mano cada pequeña brizna de llama o nube que surge de un personaje nunca fue una opción; esto sería un trabajo extremadamente tedioso, laborioso y técnico más que creativo.

Pero como dejaron claro las presentaciones, aunque dependieron en gran medida de simulaciones y sombreadores de materiales sofisticados para crear los efectos deseados, el equipo artístico y el proceso estaban profundamente entrelazados con el lado de ingeniería. (También colaboraron con investigadores de ETH Zurich para este propósito).

Un ejemplo fue el aspecto general de uno de los personajes principales, Ember, que está hecho de llamas. No fue suficiente simular llamas o modificar los colores o ajustar los muchos diales para afectar el resultado. En última instancia, las llamas debían reflejar el aspecto que quería el artista, no sólo la forma en que aparecen las llamas en la vida real. Para ello emplearon la “transferencia de estilo neuronal volumétrico” o NST; La transferencia de estilo es una técnica de aprendizaje automático que la mayoría habrá experimentado al cambiar, por ejemplo, un selfie al estilo de Edvard Munch o algo similar.

En este caso, el equipo tomó los vóxeles sin procesar de la “simulación pirotécnica”, o llamas generadas, y los pasó a través de una red de transferencia de estilo entrenada en la expresión de un artista de cómo querían que se vieran las llamas del personaje: más estilizadas, menos simuladas. Los vóxeles resultantes tienen el aspecto natural e impredecible de una simulación, pero también el inconfundible elenco elegido por el artista.

Por supuesto, los animadores son sensibles a la idea de que simplemente generaron la película usando IA, lo cual no es el caso.

“Si alguien alguna vez te dice que Pixar usó IA para hacer Elemental, está equivocado”, dijo Paul Kanyuk de Pixar durante la presentación. “Utilizamos NST volumétrico para dar forma a los bordes de su silueta”.

(Para ser claros, NST es una técnica de aprendizaje automático que identificaríamos como parte del ámbito de la IA, pero lo que Kanyuk quería decir es que se utilizó como una herramienta para lograr un resultado artístico: nada se “hizo simplemente con IA”. )

Más tarde, otros miembros de los equipos de animación y diseño explicaron cómo utilizaron herramientas procedimentales, generativas o de transferencia de estilo para hacer cosas como cambiar el color de un paisaje para que se adaptara a la paleta o panel de estado de ánimo de un artista, o rellenar manzanas de la ciudad con edificios únicos mutados de “héroe”. los dibujados a mano. El tema claro era que la IA y las herramientas adyacentes a la IA estaban ahí para servir a los propósitos de los artistas, acelerando los tediosos procesos manuales y proporcionando una mejor combinación con el aspecto deseado.

La IA acelera el diálogo

Escuché una nota similar de Martine Bertrand, investigadora senior de IA en DNEG, el equipo de posproducción y efectos visuales que recientemente animó a la excelente y visualmente impresionante Nimona. Explicó que muchos efectos y procesos de producción existentes requieren una gran cantidad de mano de obra, en particular el desarrollo de la apariencia y el diseño del entorno. (DNEG también hizo una presentación, “Donde el procedimentalismo se une al desempeño” que toca estos temas.)

“La gente no se da cuenta de que se pierde una enorme cantidad de tiempo en el proceso de creación”, me dijo Bertrand. Trabajar con un director para encontrar el aspecto adecuado para una toma puede llevar semanas por intento, durante las cuales la comunicación poco frecuente o mala a menudo lleva a que esas semanas de trabajo se descarten. Es increíblemente frustrante, continuó, y la IA es una excelente manera de acelerar este y otros procesos que no están ni cerca de los productos finales, sino simplemente exploratorios y generales.

Que los artistas utilicen la IA para multiplicar sus esfuerzos “permite el diálogo entre creadores y directores”, dijo. Selva alienígena, claro, pero ¿así? ¿O así? ¿Una cueva misteriosa como ésta? ¿O así? Para una historia visualmente compleja dirigida por un creador como Nimona, obtener comentarios rápidos es especialmente importante. Perder una semana renderizando una mirada que el director rechaza una semana después es un grave retraso en la producción.

De hecho, se están logrando nuevos niveles de colaboración e interactividad en los primeros trabajos creativos, como la previsualización, como una charla del CEO de Sokrispy, Sam Wickert, explicada. A su compañía se le asignó la tarea de hacer la vista previa de la escena del brote al comienzo de “The Last of Us” de HBO: una compleja “oneer” en un automóvil con innumerables extras, movimientos de cámara y efectos.

Si bien el uso de la IA era limitado en esa escena más arraigada, es fácil ver cómo la síntesis de voz mejorada, la generación de entornos procedimentales y otras herramientas podrían contribuir y contribuyeron a este proceso cada vez más avanzado en tecnología.

Wonder Dynamics, que fue citado en varias conferencias magistrales y presentaciones, ofrece otro ejemplo del uso de procesos de aprendizaje automático en la producción, completamente bajo el control de los artistas. Los modelos avanzados de reconocimiento de escenas y objetos analizan imágenes normales y reemplazan instantáneamente a los actores humanos con modelos 3D, un proceso que alguna vez tomó semanas o meses.

Pero como me dijeron hace unos meses, las tareas que automatizan no son las creativas: es un trabajo agotador de memoria (a veces roto) que casi no implica decisiones creativas. “Esto no interrumpe lo que están haciendo; Automatiza entre el 80 y el 90% del trabajo objetivo de VFX y les deja el trabajo subjetivo”, dijo entonces el cofundador Nikola Todorovic. Me reuní con él y su cofundador, el actor Tye Sheridan, en SIGGRAPH, y estaban disfrutando de ser el centro de atención de la ciudad: estaba claro que la industria se estaba moviendo en la dirección en la que habían comenzado años atrás. (Por cierto, venga a ver a Sheridan en el escenario de IA en TechCrunch Disrupt en septiembre).

Dicho esto, la comunidad de VFX no ignora de ninguna manera las advertencias de los escritores y actores en huelga. De hecho, se hacen eco de ellas y sus preocupaciones son similares, aunque no tan existenciales. Para un actor, su imagen o actuación (o para un escritor, su imaginación y su voz) es su medio de vida, y la amenaza de que se apropie y se automatice por completo es aterradora.

Para los artistas que se encuentran en otras partes del proceso de producción, la amenaza de la automatización también es real y también es más un problema de personas que de tecnología. Muchas personas con las que hablé coincidieron en que el verdadero problema son las malas decisiones tomadas por líderes desinformados.

“La IA parece tan inteligente que puedes dejar tu proceso de toma de decisiones en manos de la máquina”, dijo Bertrand. “Y cuando los humanos delegan sus responsabilidades a las máquinas, ahí es donde da miedo”.

Si se puede aprovechar la IA para mejorar o agilizar el proceso creativo, por ejemplo reduciendo el tiempo dedicado a tareas repetitivas o permitiendo a los creadores con equipos o presupuestos más pequeños igualar a sus pares con mejores recursos, esto podría ser transformador. Pero si el proceso creativo pasa a la IA, un camino que algunos ejecutivos parecen deseosos de explorar, entonces, a pesar de la tecnología que ya domina Hollywood, las huelgas apenas estarán comenzando.