Las herramientas del cine moderno se han vuelto cada vez más accesibles para los cineastas independientes e incluso para los aficionados, pero los personajes realistas generados por computadora (les gusten o no) han seguido siendo parte de los proyectos de gran presupuesto. Maravilla Dinámica tiene como objetivo cambiar eso con una plataforma que permite a los creadores literalmente arrastrar y soltar un personaje CG en cualquier escena como si hubiera sido capturado y editado profesionalmente.
Sí, suena un poco a prometer demasiado. Su escepticismo está justificado, pero como escéptico, debo decir que me impresionó mucho lo que mostró la puesta en marcha de Wonder Studio, el editor basado en la web de la empresa. Este no es un juguete como un filtro AR: es una herramienta a gran escala y una que los cofundadores Nikola Todorovic y Tye Sheridan han anhelado. Y lo más importante, está destinado a facilitar el trabajo de los artistas, no a reemplazarlos por completo.
“El objetivo siempre fue crear una herramienta para los artistas, empoderarlos. Alguien que tiene grandes sueños no siempre tiene los recursos para manifestarlos”, dijo Sheridan, a quien muchos habrán visto protagonizar la adaptación cinematográfica de Ready Player One de Spielberg, por lo que su familiaridad con las complejidades de la producción asistida por CG y la captura de movimiento son muy de primera mano.
Todorovic y Sheridan se conocen y trabajan juntos desde hace años y con frecuencia chocan con este muro: “Tanto Tye como yo estábamos escribiendo películas que no podíamos permitirnos hacer”, dijo Todorovic. Su compañía, que hasta ahora ha operado principalmente de manera sigilosa, recaudó una ronda inicial de $ 2.5 millones a principios de 2021 y una ronda A adicional de $ 10 millones más tarde ese año.
La cosa es que, aunque el software para crear modelos 3D, editar, componer y colorear (entre otros pasos en el proceso de filmación) es mucho más fácil de comprar y usar en estos días, el proceso para poner un personaje CG en una escena todavía es muy complicado.
Los fundadores de Wonder Dynamics, Nikola Todorovic, a la izquierda, y Tye Sheridan, a la derecha.
Digamos que desea incluir un compañero robot para una escena en su película de ciencia ficción. Un artista que crea un modelo y texturas, etc., es solo el primer paso. A menos que quieras animarlo a mano (¡no recomendado!), necesitarás un estudio de captura de movimiento o equipo en el set, bolas reflectoras, pantallas verdes y todo. A partir de ellos, las primitivas de movimiento deben aplicarse al esqueleto CG y el personaje debe sustituirse por el actor. Pero luego, el modelo 3D debe coincidir con la dirección y el color de la iluminación, el tono y el grano de la película, y más. Con suerte, también contrató a personas para capturar y caracterizar esos.
A menos que resulte ser un experto en todos estos procesos individuales de pre y postproducción y tenga mucho tiempo libre, simplemente está fuera del alcance y el presupuesto de la mayoría de los cineastas. Al final del día, podría estar buscando hasta $ 20,000 por segundo para un trabajo importante de VFX, como agregar un dragón o un superhéroe, sin mencionar los días de trabajo técnico. Por lo tanto, las películas independientes tienden a no tener efectos visuales prominentes, y mucho menos personajes completamente animados.
Wonder Studio es una plataforma que hace que este proceso sea tan simple como seleccionar un filtro o pincel en Photoshop. Suena demasiado bueno para ser verdad, pero Sheridan y Todorovic han estado trabajando en ello durante tres años y los resultados lo demuestran. “Queríamos construir algo fundamental, por eso tomó tanto tiempo”, dijo Sheridan.
“Construimos algo que automatiza todo este proceso, lo anima en vivo, cuadro por cuadro, no hay necesidad de captura de movimiento. Detecta automáticamente a los actores en función de una sola cámara. Hace movimiento de cámara, iluminación, color, reemplaza completamente al actor con CG”, explicó Todorovic.
Pero lo más importante es que no solo hace esto en vivo en la cámara pegándolo allí al estilo Tiktok, o escupe un producto cuestionablemente “final”. Todavía se generan todas las piezas reales que los artistas de VFX normalmente crearían o con las que interactuarían. Y, tuvo cuidado de señalar, nada de eso está basado en el trabajo existente de los artistas.
Toma final, datos de captura de movimiento, máscara y entorno 3D generado por Wonder Studio.
“Obtienes mocap, plato limpio, máscaras, escena de licuadora, analiza el ruido y el grano”, continuó. Es decir: datos de animación y movimiento (incluyendo manos y cara), la toma sin el actor o reemplazo, contornos de personajes y objetos cuadro por cuadro, una representación 3D del entorno con terreno y otras características. Y todo se adapta automáticamente a las cualidades de la toma, o tomas, ya que puede rastrear a los actores a lo largo de una escena completa con múltiples ángulos.
He aquí un vistazo a cómo funciona el proceso en acción:
Se pueden ver muchos más ejemplos y detalles. en el sitio de la empresa.
Gran parte de este tipo de cosas es trabajo de memoria, en gran parte trabajo pesado, hecho de la misma manera una y otra vez como parte del proceso general de VFX. Estas tareas “objetivas no creativas”, llamadas así porque son necesidades técnicas en lugar de resultados expresivos, definitivamente caerían bajo el término “aburrido” en “sucio, aburrido y peligroso”: las tres D de la automatización.
“No se puede reemplazar a los artistas con IA, se trata de mejorarlos y empoderarlos. Esto no interrumpe lo que están haciendo; automatiza el 80-90% del trabajo objetivo de efectos visuales y los deja con el trabajo subjetivo”, explicó Todorovic. “La belleza de la IA es tomar algo tan complicado y simplificarlo”.
Para que no te preocupes si esto dejará a mucha gente sin trabajo, no parece probable. La industria de VFX está positivamente abrumada con el trabajo, especialmente porque compañías como Marvel y Netflix insisten en lanzamientos regulares de trabajos de CG increíblemente exigentes que deben ser realizados por docenas de casas de VFX independientes. Uno hace las capas, otro las explosiones, otro el maquillaje digital, otro las superficies deformables. Y todos están reservados desde hace años. Claro, están pagando las facturas, pero si pudieran asumir el doble de trabajos porque pasan la mitad del tiempo delineando manualmente un actor objetivo en cada cuadro, probablemente lo harían en un segundo.
Todo depende de la calidad de los resultados, por supuesto, y ahí es donde tiende a fallar la automatización de estos procesos. Claro, puede obtener una herramienta que detecta automáticamente el movimiento en el actor seleccionado y genera una animación aproximada para un modelo. Pero tienes que decirle qué actor en cada toma, y una vez que tienes todo eso, no se convierte mágicamente en un personaje generado por computadora; debe ir al siguiente equipo, que sabe qué hacer con un montón de coordenadas y curvas Bezier.
Sheridan y Todorovic querían que Wonder Studio fuera un sistema que fuera lo suficientemente simple para que lo usara un niño, pero lo suficientemente potente para un profesional de VFX; de ahí la salida de datos sin procesar si lo desea, pero con la funcionalidad de arrastrar y soltar lista para usar.
Wonder Studio viene con un montón de modelos de muestra listos para usar, pero no se espera que nadie los use solo en su película; es más como un conjunto de arquetipos de personajes generados por computadora que puedes ver en acción: un padre y una hija tipo Pixar, un par de robots de diversa gravedad, un “Sam” (pequeño hombre alienígena) sospechosamente parecido a Gollum, y más.
“Queremos que los artistas creen los suyos propios. Obtienes tu FBX [a common 3D media format] y sus texturas y se ensamblan en la plataforma, tal como lo importaría en Blender o Unreal o cualquier otra cosa”, dijo Todorovic. Los modelos también pueden estar disponibles para su compra en la plataforma.
Sin embargo, incluso estos elementos básicos podrían ser suficientes para un lanzamiento, un corte preliminar o una previsualización, la última de las cuales a menudo la realiza el personal de dobles sin casi efectos visuales. ¿No sería genial ver cómo se vería realmente el disfraz de Wolverine o el monstruo viscoso de la alcantarilla en una coreografía de lucha que propones, en lugar de solo en los guiones gráficos? ¿Qué tal un pueblo de fantasía con gente pájaro real en lugar de mal maquillaje? O un cortometraje de ciencia ficción que solo necesita un cajero robótico o un barrendero mutante para darle un toque futurista informal; en este momento ni siquiera es una opción. Los personajes CG de nivel de entrada abren géneros completos que estaban encerrados detrás de grandes presupuestos.
Se planean más funciones, desde entornos generados por computadora en los que se pueden componer personajes, hasta capturar movimientos de cámara de cualquier medio para que puedan simularse, estudiarse, modificarse y reutilizarse.
“Este es un gran primer paso, pero el panorama general es que queremos tener una plataforma donde cualquier niño pueda sentarse y dirigir películas sentado frente a su computadora y escribiendo”, dijo Sheridan. Se ofrecerá un nivel gratuito para que cualquiera lo pruebe, y funciones más avanzadas para profesionales y usuarios intensivos estarán disponibles en varios planes pagos. Planean trabajar directamente con casas de VFX para crear y mejorar integraciones y flujos de trabajo.
Su esperanza es que esto comience a cerrar la brecha entre la realización de películas de bajo presupuesto y sin presupuesto y el tipo de vuelos imaginativos sin restricciones que solo alguien con los recursos de James Cameron puede concebir, y mucho menos ejecutar.
La plataforma está en forma beta ahora, pero ya la están utilizando los aclamados directores de acción, los hermanos Russo, para una próxima película de Netflix con Millie Bobby Brown y Chris Pratt. No se sabe quién está siendo reemplazado por qué, pero de todos modos es un respaldo poderoso.
“Puede que sea parcial, pero hacer películas tiene que ser uno de los mejores trabajos que puedas tener”, dijo Sheridan en un comunicado que anunciaba el debut de Wonder Studio. “Somos narradores de corazón, y solo estamos construyendo tecnología como un medio para ayudarnos a contar mejores historias. AI presenta una gran oportunidad para que se hagan más películas y para que se escuchen más voces”.
Source link