Investigadores de la Universidad Carnegie Mellon han creado un método para convertir un video en el estilo de otro. Si bien esto puede no estar claro al principio, eche un vistazo al video a continuación. En él, los investigadores tomaron un clip completo de John Oliver y lo hicieron parecer como lo dijo Stephen Colbert. Además, pudieron imitar el movimiento de una flor abriéndose con otra flor.
En resumen, pueden hacer que cualquier persona (o cualquier cosa) parezca que está haciendo algo que nunca hizo.
“Creo que hay muchas historias que contar”, dijo CMU Ph.D. estudiante Aayush Bansal. Él y el equipo crearon la herramienta para facilitar la filmación de películas complejas, tal vez reemplazando el movimiento en escenas simples y bien iluminadas y copiándolo en un estilo o entorno completamente diferente.
“Es una herramienta para el artista que les da un modelo inicial que luego pueden mejorar”, dijo.
El sistema utiliza algo llamado redes generativas de confrontación (GAN) para mover un estilo de imagen a otro sin muchos datos coincidentes. Sin embargo, las GAN crean muchos artefactos que pueden estropear el video mientras se reproduce.
En una GAN se crean dos modelos: un discriminador que aprende a detectar lo que es consistente con el estilo de una imagen o video, y un generador que aprende a crear imágenes o videos que encajan con un estilo determinado. Cuando los dos funcionan de manera competitiva, el generador tratando de engañar al discriminador y el discriminador anotando la efectividad del generador, el sistema finalmente aprende cómo el contenido puede transformarse en un estilo determinado.
Los investigadores crearon algo llamado Reciclar-GAN que reduce las imperfecciones mediante “información no solo espacial, sino temporal”.
“Esta información adicional, que tiene en cuenta los cambios a lo largo del tiempo, restringe aún más el proceso y produce mejores resultados”, escribieron los investigadores.
Obviamente, Recycle-GAN se puede utilizar para crear los llamados Deepfakes, lo que permite a personas viles simular a alguien que dice o hace algo que nunca hizo. Bansal y su equipo son conscientes del problema.
“Fue una revelación para todos nosotros en el campo que tales falsificaciones se crearían y tendrían tal impacto. Encontrar formas de detectarlos será importante en el futuro ”, dijo Bansal.
Source link