¿Puede una IA de sueños profundos transformar fotos de baja resolución en imágenes de alta resolución nítidamente detalladas?
vamos a mejorar es una startup con sede en Estonia que utiliza una red neuronal profunda llamada ‘IA alucinante’ para impulsar un servicio gratuito de mejora de fotografías. En su sitio web, afirma que el software de aprendizaje “alucina los detalles que faltan para que la imagen se vea natural”.
Lanzó la herramienta en línea a fines de octubre, obteniendo un poco de cobertura de prensa temprana.
Lo probé en ese momento, pero los resultados parecían mixtos y era difícil juzgar qué tan útil podría ser sin un caso de uso adecuado para probarlo.
Así que esperé mi momento y este mes me encontré con el tipo de desafío de fotografía digital con el que pensé que el servicio podría ayudar: las fotos que quería regalar como impresiones enmarcadas no tenían una gran resolución para produciendo una impresión de tamaño decente.
¿Problemas con las fotos de baja resolución? ¡IA al rescate!
Una de las fotos era solo una divertida instantánea de un teléfono inteligente. Pero otros tenían mucho más en juego: ser de una boda.
Y después de intentar (sin éxito) obtener sus versiones de resolución completa, las fotos de los asistentes se compartieron colectivamente después del hecho a través de iCloud; y aparentemente nadie podía recordar quién había tomado las fotos específicas que buscaba (o en qué dispositivo); decidí ejecutarlas y el retrato más informal a través de Let’s Enhance para ver si podía aumentar la resolución y tener la oportunidad de convertirlas en estampados para regalar.
El servicio es freemium y limita la cantidad de fotos que puede ejecutar por día. También se bloquea en 10 fotos gratis en total antes de que te empujen hacia uno de sus planes de suscripción. Pero como solo tenía algunas tomas para mejorar, pude ejecutar todo a través de la puerta freemium sin necesidad de suscribirme o comprar un paquete de costos (que también ofrecen).
Cada foto que carga en la IA de Let’s Enhance se le devuelve después de segundos (o tal vez hasta uno o dos minutos) de tiempo de procesamiento en tres versiones, lo que refleja las diferentes etapas aplicadas para tratar de mejorarla con IA. Entonces, por foto obtienes tres archivos, que reciben las siguientes etiquetas: Anti-jpeg, aburrido y mágico.
La versión ‘anti-jpeg’ de la imagen no mejora el tamaño real, solo parece pulir ligeramente algunos artefactos de compresión. Aunque descubrí que sus resultados son bastante sutiles, al menos en las tomas que probé y comparé las imágenes originales con las anti-jpeg en una pantalla.
Las técnicas ‘aburridas’ y ‘mágicas’ siempre aumentan la imagen 4 veces, por lo que pude convertir, por ejemplo, un archivo de fotografía digital de 520 KB con una resolución de 898 × 1600 en 21,8 MB con 3492 × 6400 píxeles completos. Entonces, al menos en teoría, la versión mejorada podría imprimirse en tamaño póster.
Los resultados de las técnicas aburridas y mágicas aplicadas a este retrato en particular parecieron visualmente impresionantes en la pantalla. Aunque el retrato fue tomado a una distancia considerable y su fondo de escalera lleno de grafitis es probablemente un lienzo bastante indulgente para ocultar imperfecciones de escalado.
En mi opinión, no hubo una gran diferencia entre las dos técnicas de procesamiento cuando se aplicaron a esta foto: la versión mágica produjo un resultado ligeramente más borroso. Pero, de nuevo, para esta toma en particular, cualquiera de los archivos probablemente habría producido una impresión enmarcable fina.
Las fotos de la boda fueron definitivamente mucho más desafiantes. Dos de las tomas originales parecen haber sido tomadas con la cámara de un teléfono inteligente de calidad bastante estándar, por lo que si bien se ven bien en una pantalla, su baja resolución de solo 1024 × 577 significaba que el tamaño máximo que razonablemente podría esperar para imprimirlas sería un tiddly ~4 pulgadas.
Después de recortar una de estas tomas para eliminar a un transeúnte incidental y aumentar la escala a través de Let’s Enhance, la imagen volvió con una resolución de 3408 × 2304. Entonces, al menos técnicamente lo suficientemente grande como para producir una impresión de tamaño decente.
Un desafío adicional con la segunda imagen fue que había sido tomada a distancia, en orientación vertical, y quería un primer plano de las caras, lo que significaba un recorte importante en un formato horizontal más pequeño y un intento de enfocarme en lo que había sido bonito. detalles remotos para empezar.
Después de ampliar y recortar, obtuve una imagen con una resolución de 2182 × 1684. Una vez más, en teoría, una letra pequeña podría funcionar con esa resolución.
Sin embargo, la mejora de la IA había producido un efecto que definitivamente era mucho más una pantalla de vaselina que un contorno fino, probablemente debido a que, para empezar, la toma original no era de gran calidad.
El CEO de Let’s Enhance, Oleksandr Savsunenko, me advirtió que: “Si la imagen está demasiado ampliada o pixelada, el sistema la ‘considerará’ como un patrón natural y no la cambiará”.
Así que no esperaba exactamente milagros. Pero incluso la foto un poco más grande de las dos no se veía exactamente nítida en términos de detalles después de su viaje de IA.
De las dos capas de procesamiento, aburrido de nuevo pareció haber funcionado mejor, con la magia dando como resultado mucha más pelusa/artefactos en ambas tomas. Incluyendo darle al borde de lo que debería ser un poco de piel una especie de flecos estilo tela.
Ese debe ser el detector de patrones de IA en el trabajo…
Una tercera imagen de la boda era una foto de resolución completa, por lo que no tenía los mismos problemas de calidad. Pero una vez más, solo buscaba un detalle recortado, así que usé Let’s Enhance para mejorar el recorte y mejorar su resolución. Esto significa que pasé de un razonable 2032 × 2355 a un generoso 8128 × 9416.
Además de ser una imagen de mejor calidad, para empezar, este no era un retrato tan cercano, por lo que la mejora parecía funcionar mejor aquí, especialmente en un fondo de paisaje urbano/paisaje con la pareja solo mostrada de perfil. Aunque, aquí también, los detalles de la versión mágica salieron un poco más confusos que los demás.
Ahora, armado con mis archivos mejorados, y al menos con la posibilidad de obtener algunas impresiones aceptables, cargué las imágenes en una memoria USB y me dirigí a la tienda de fotografía.
Entonces, ¿cómo se veían las huellas?
Como era de esperar, el recorte mejorado de la foto de boda original de alta resolución salió bien, en todas las versiones que imprimí.
Una impresión de 20 x 15 cm se veía genial y tenía detalles claros y vívidos. Un no profesional no diría que es solo una sección de una toma más grande. Aunque si esto se debió a la mejora de la escala de la IA o realmente más a un caso de tener una resolución razonable para comenzar con una impresión de ese tamaño, es menos claro.
Cuando se trataba de dos fotos de boda originales mejoradas con IA de menor calidad, la calidad de las impresiones de ~6 x 4 pulgadas que recibí no era excelente, lo que reflejaba la borrosidad duradera de las versiones digitales. A algunos de los tonos de piel más oscuros también se les había dado un tono extrañamente grisáceo.
La menos desafiante de las dos tomas sería casi aceptable en un álbum de fotos. Pero ninguna de las impresiones tenía calidad de regalo. El retrato con detalles ligeramente más claros al principio se imprimió luciendo casi irritantemente fuera de foco. Al menos a un ojo humano.
Claramente, una IA alucinante no sustituye a tener un original de resolución completa.
Dicho esto, si solo tiene un complemento móvil de calidad promedio para comenzar, entonces debe trabajar con lo que tiene. Y probablemente pude producir copias de la mejor calidad que podía esperar, dada la baja calidad del material de origen.
A la instantánea informal del teléfono inteligente le fue mucho mejor. Una impresión de alrededor de 8 x 6 pulgadas se veía muy bien enmarcada y tenía un detalle de fondo especialmente impresionante.
El tamaño máximo que sugirió la imprenta para la impresión de carteles de la imagen en función del tamaño del archivo fue de un metro completo de altura (!). Lo que claramente lo habría estado presionando. Opté por una impresión de póster de la mitad de ese tamaño, y la impresión resultante definitivamente no tenía detalles tan impresionantemente nítidos como la impresión fotográfica.
Ahora podías ver bastante claramente los artefactos visibles en los gráficos y grafitis de fondo, así que definitivamente estaba llegando a los límites de lo que puedes hacer con una imagen mejorada con IA en este punto…
Aun así, dado el tema sucio, el póster aún se veía bastante bien en general. Entonces, para este caso de uso, estaba satisfecho.
Una alucinante red neuronal profunda
Así es como Savsunenko explica la tecnología que sustenta el servicio Let’s Enhance: “El núcleo de nuestra IA alucinante es una red neuronal profunda con una arquitectura personalizada basada libremente en el enfoque moderno de GAN (GAN, Generative Adversarial Network). Fue descubierto hace algunos años y tiene una gran variedad de aplicaciones además de generar viajes de ácido.
“La idea básica de GAN es entrenar dos redes a la vez: una red hace la mejora, otra actúa como crítica, aprendiendo a distinguir las imágenes reales de las mejoradas. Durante el entrenamiento, la red de mejora intenta producir la imagen para engañar al crítico y mejora en función de su retroalimentación. Esto enseña a ampliar la red para producir imágenes realistas. También utilizamos varios filtros de procesamiento previo y posterior según el tipo y la calidad de la imagen”.
Según Savsunenko, la herramienta funciona mejor con fotos digitales mejoradas e ilustraciones creadas digitalmente.
“Varios usuarios se pusieron en contacto con nosotros para compartir sus resultados y nos sorprendió encontrar casos de uso muy amplios”, dijo, afirmando, por ejemplo, que los científicos y los médicos están utilizando la herramienta para mejorar las fotografías de rayos X y microscopía. para “ver mejor los detalles”.
Agregó que otros han usado el servicio para ‘salvar’ su colección de fotos digitales cuando perdieron sus originales de alta resolución.
Otro caso de uso que mencionó es que los propietarios de comercio electrónico mejoren la calidad de las imágenes de los productos, especialmente cuando son revendedores y, por lo tanto, no pueden tomar mejores fotos de los productos.
También dijo que es útil para los fotógrafos que desean recortar partes de las imágenes y aún poder imprimirlas, un caso de uso que también probé. Aunque descubrí que esto realmente solo funcionaba si tenías una imagen de buena calidad para empezar.
En pocas palabras: si su original está un poco borroso, la IA no hará milagros ni lo limpiará.
También aclaró que la red neuronal anti-jpeg está diseñada específicamente para eliminar artefactos JPEG. “Incluso el iPhone hace compresión JPEG; si quieres ampliar parte de la foto de tu iPhone, esta combinación funciona mejor”, señaló al respecto.
Mejoremos: Veredicto…
En general, fuera de la pantalla, los resultados no me sorprendieron demasiado.
Let’s Enhance puede ser una herramienta útil cuando tiene instantáneas de teléfonos inteligentes que desea dimensionar para usar digitalmente. Pero no va a ir literalmente a mejorar los detalles de las tomas originales si están un poco borrosos o desenfocados para empezar (quizás con la excepción de los artefactos Jpeg, aunque tampoco puedo decir que mis pruebas hayan demostrado esto).
‘Let’s Embiggen’ podría ser un nombre más exacto para el servicio.
Dicho esto, las fotos con composiciones más indulgentes pueden mejorarse con más éxito, y según mi experiencia, se obtuvieron algunas impresiones razonables. Las tomas de paisajes versus retratos son probablemente una apuesta más segura. En cuanto a las bodas y otras ocasiones clave, la IA definitivamente no va a dejar fuera del negocio a ningún fotógrafo profesional todavía.
No estoy seguro de que Let’s Enhance sea un servicio que considero lo suficientemente útil como para suscribirme solo para mejorar uno o dos complementos. Pero también ofrecen paquetes como 20 imágenes por $4.99.
El servicio parece más útil si necesita una herramienta para aumentar el tamaño de imágenes digitales de baja resolución con regularidad, por ejemplo, para fines de comercio electrónico bastante ligeros. (Y de hecho, de ahí es de donde Oleksandr dice que surgió la idea original, después de que su padre pidiera ayuda con el diseño y el contenido visual de su tienda en Internet y solo tuviera imágenes de baja resolución disponibles).
De lo contrario, diría que es mejor que inviertas en una cámara decente y/o en un fotógrafo profesional. Resulta que incluso una IA que sueña profundamente no puede arreglar una toma borrosa en la edición.
Source link