Cada año en Adobe Max, Adobe muestra lo que llama “Sneaks”, proyectos de I+D que podrían, o no, convertirse en productos comerciales algún día. Este año no es una excepción y, por suerte para nosotros, se nos dio una vista previa antes de la conferencia propiamente dicha.
Project Clever Composites (como lo llama Adobe) aprovecha la IA para la composición automática de imágenes. Para ser más específicos, predice automáticamente la escala de un objeto, determinando cuál podría ser el mejor lugar para insertarlo en una imagen antes de normalizar los colores del objeto, estimando las condiciones de iluminación y generando sombras en línea con la estética de la imagen.
Así es como lo describe Adobe:
El compostaje de imágenes te permite agregarte a ti mismo para que parezca que estuviste allí. O tal vez quieras crear una foto tuya acampando bajo un cielo estrellado, pero solo tienes imágenes del cielo estrellado y de ti mismo acampando durante el día.
No soy un mago de Photoshop, pero Adobe me dice que la composición puede ser un proceso muy manual, tedioso y lento. Normalmente, implica encontrar una imagen adecuada de un objeto o sujeto, cortar con cuidado el objeto o sujeto de dicha imagen y editar su color, tono, escala y sombras para que coincida con su apariencia con el resto de la escena en la que se está pegando. El prototipo de Adobe elimina esto.
“Desarrollamos una técnica más inteligente y automatizada para la composición de objetos de imagen con una nueva tecnología de búsqueda consciente de la composición”, dijo Zhifei Zhang, ingeniero de investigación de Adobe en el proyecto, a TechCrunch por correo electrónico. “Nuestra tecnología de búsqueda consciente de la composición utiliza múltiples modelos de aprendizaje profundo y millones de puntos de datos para determinar la segmentación semántica, la búsqueda consciente de la composición, la predicción de ubicación de escala para la composición de objetos, la armonización de colores y tonos, la estimación de iluminación, la generación de sombras y otros”.
Créditos de imagen: Adobe
Según Zhang, cada uno de los modelos que alimentan el sistema de composición de imágenes se entrena de forma independiente para una tarea específica, como buscar objetos consistentes con una imagen determinada en términos de geometría y semántica. El sistema también aprovecha una canalización independiente de composición automática basada en IA que se ocupa de predecir la escala y la ubicación de un objeto para la composición, la normalización del tono, la estimación de las condiciones de iluminación y la síntesis de sombras.
El resultado es un flujo de trabajo que permite a los usuarios componer objetos con solo unos pocos clics, afirma Zhang.
“Lograr la composición automática de objetos es un desafío, ya que hay varios componentes del proceso que deben componerse. Nuestra tecnología sirve como ‘pegamento’, ya que permite que todos estos componentes trabajen juntos”, dijo Zhang.
Al igual que con todos los Sneaks, el sistema podría seguir siendo para siempre una demostración técnica. Pero Zhang, quien cree que sería una “gran adición” a Photoshop y Lightroom, dice que ya se está trabajando en una versión mejorada que admita la composición de objetos en 3D, no solo en 2D.
“Nuestro objetivo es hacer que esta tarea común pero difícil de lograr compuestos realistas e inteligentes para 2D y 3D sea completamente arrastrar y soltar”, dijo Zhang. “Esto cambiará las reglas del juego para la composición de imágenes, ya que facilitará la creación de imágenes realistas para aquellos que trabajan en el diseño y la edición de imágenes, ya que ahora podrán buscar un objeto para agregar, cortarlo con cuidado y edite el color, el tono o la escala con solo unos pocos clics”.
Source link