El proceso de composición, o de colocar a los actores frente a un fondo que en realidad no existe, es tan antiguo como el cine mismo, y siempre ha sido un fastidio. Netflix tiene una nueva técnica que se basa en el aprendizaje automático para hacer parte del trabajo duro, pero requiere iluminar a los actores en un magenta chillón.
Durante décadas, el método más simple de composición fue la codificación cromática, en la que los actores se paran contra un fondo de colores brillantes (originalmente azul, luego verde) que se puede identificar y reemplazar fácilmente con cualquier cosa, desde un mapa del tiempo hasta una batalla con Thanos. Se dice que el primer plano está “mateado” y el fondo es un canal “alfa” transparente manipulado junto con los canales rojo, verde y azul.
Es fácil y barato, pero tiene algunos inconvenientes, entre ellos problemas con objetos transparentes, detalles finos como el cabello y, por supuesto, cualquier cosa con un color similar al del fondo. Sin embargo, por lo general es lo suficientemente bueno que los intentos de reemplazarlo con métodos más sofisticados y costosos (como una cámara de campo de luz) hayan languidecido.
Sin embargo, los investigadores de Netflix están probando una combinación de lo antiguo y lo nuevo que podría resultar en una composición simple e inmaculada, a costa de una configuración de iluminación infernal en el set.
Como se describe en un artículo publicado recientemente, su “Pantalla verde magenta” produce resultados impresionantes, esencialmente, poniendo a los actores en un sándwich de iluminación. Detrás de ellos, verde brillante (activamente iluminado, no como telón de fondo); en el frente, una mezcla de rojo y azul, lo que hace que los colores contrasten dramáticamente.
Actores iluminados en magenta contra una pantalla verde. Créditos de imagen: netflix
La apariencia resultante en el set probablemente hace que incluso el artista de postproducción más experimentado se muestre reacio. Por lo general, desea iluminar a sus actores con una luz bastante natural, por lo que, aunque es posible que requieran un poco de presión aquí y allá, su apariencia en la cámara es relativamente normal. Pero si se iluminan exclusivamente con luz roja y azul, se distorsiona por completo ese aspecto, ya que, por supuesto, la luz normal no tiene una gran parte de su espectro recortado.
Pero la técnica también es inteligente porque al hacer que el primer plano sea solo rojo/azul y el fondo solo verde, simplifica el proceso de separación de los dos. Una cámara normal que normalmente capturaría esos colores en su lugar captura rojo, azul y alfa. Esto hace que los mates resultantes sean extremadamente precisos, sin los artefactos que surgen al tener que separar una entrada de espectro completo de un fondo clave de espectro limitado.
Por supuesto, parecen haber sustituido una dificultad por otra: el proceso de composición ahora es fácil, pero restaurar el canal verde a los sujetos iluminados en magenta es difícil.
Debe hacerse de manera sistemática y adaptativa, ya que los sujetos y las composiciones difieren, pero un enfoque lineal “ingenuo” para inyectar verde da como resultado un aspecto amarillento y descolorido. ¿Cómo se puede automatizar? ¡IA al rescate!
El equipo entrenó un modelo de aprendizaje automático con sus propios datos de entrenamiento, esencialmente tomas de “ensayo” de escenas similares, pero con iluminación normal. La red neuronal convolucional recibe parches de la imagen de espectro completo para compararlos con los iluminados en magenta y desarrolla un proceso para restaurar rápidamente el canal verde faltante de una manera más inteligente que un simple algoritmo.
Un algoritmo simple conduce a resultados deficientes (arriba) mientras que un modelo ML más sofisticado produce colores muy similares a la realidad del suelo. Créditos de imagen: netflix
Por lo tanto, el color se puede restaurar sorprendentemente bien en la publicación (es “prácticamente indistinguible” de una verdad de fondo en la cámara), pero aún existe el problema de que los actores y el escenario deben iluminarse de esta manera horrible. Muchos actores ya se quejan de lo antinatural que es trabajar frente a una pantalla verde; imagínese hacerlo mientras está iluminado por una luz dura e inhumana.
El documento aborda esto, sin embargo, con la posibilidad de “multiplexar en el tiempo” la iluminación, esencialmente encendiendo y apagando la iluminación magenta/verde varias veces por segundo. Esto es una distracción (incluso peligroso) hacerlo 24 veces por segundo (es decir, la velocidad de fotogramas que se filman en la mayoría de las películas y la televisión), pero si encienden la luz más rápido, 144 veces por segundo, parece “casi constante”.
Sin embargo, esto requiere una sincronización compleja con la cámara, que solo debe capturar la luz durante los breves momentos en que la escena es magenta. Y también deben tener en cuenta los fotogramas que faltan para el movimiento…
Como puede ver, esto todavía es muy experimental. Pero también es una forma interesante de abordar un viejo problema en la producción de medios con un enfoque nuevo y de alta tecnología. Esto no habría sido posible hace cinco años, y aunque puede o no ser adoptado en el set, claramente vale la pena probarlo.
Source link