La revancha del algoritmo contra los nazis: la inteligencia artificial recupera tres cuadros destruidos de Klimt

La última pista que existe de Medicina, Jurisprudencia y Filosofía, las denominadas Pinturas de la Facultad, de Gustav Klimt, es de 1945. Las tres grandes obras estaban en un castillo en Austria que, el día antes de que acabara la Segunda Guerra Mundial, los nazis mandaron quemar antes de que el Ejército Rojo les confiscara un patrimonio artístico que ellos mismos habían expoliado por toda Europa. En aquel incendio desaparecieron más obras del artista austriaco, no se sabe cuántas, lo que parece más que probado es que estas tres piezas de finales del siglo XIX, de más de cuatro metros, sucumbieron a las llamas. El único rastro que quedaba eran unas fotografías en blanco y negro hasta que recientemente el Google Arts & Culture y el Museo Belvedere de Austria han resucitado las piezas y sus brillantes colores gracias a la inteligencia artificial.

El trabajo lo ha hecho un algoritmo al que han entrenado especialistas de ambas instituciones tras una exhaustiva labor de investigación cromática. El punto de partida, ya que de las tres piezas solo quedaban imágenes en blanco y negro, fue un fragmento de color que todavía se conserva de la Medicina. A partir de ahí, se recopilaron 80 imágenes de cuadros de Klimt repartidos por distintas instituciones. Con esta primera información, el robot aprendería a través de la prueba y el error un sesgo hacia los colores de su obra. Los expertos recurrieron a obras como el Friso de Beethoven, donde aparecen serpientes doradas similares a las que rodean a las tres mujeres a la vanguardia en Jurisprudencia, explican en el Instituto de Google.

img-beforeimg-after

El antes y el después de la coloración del algoritmo del cuadro de la ‘Jurisprudencia’. Cortesía de Arts&Culture Google Institute

Pero un algoritmo de este tipo necesita más alimento para seguir aprendiendo, unas 5.000 imágenes de media para asimilar un objeto, por lo que además le enseñaron un millón de fotos de cosas del mundo real, incluidas personas, animales y edificios; y 91.749 obras de arte que ya almacena Google Arts & Culture (la plataforma alberga piezas y documentación de más de 2.500 instituciones culturales de 80 países). “Esto permite que el modelo de aprendizaje automático asimile los límites de los objetos, las texturas y las composiciones frecuentes en las obras de arte”, aseguran los expertos de Google.

img-beforeimg-after

El antes y el después de la obra ‘Medicina’ de Klimt. Cortesía de Arts&Culture Google Institute

No solo usaron imágenes, expertos en Klimt como Franz Smola, del Museo Belvedere, hicieron una labor de investigación reuniendo documentos académicos y periodísticos de la época. Smola usó, por ejemplo, extractos de crónicas del periodista Ludwig Hevesi sobre la Jurisprudencia, que estuvo expuesta en 1903: “Tres diosas vengadoras de forma aterradoramente hermosa, con serpientes doradas en el pelo”. Seis años después, en otra crónica, Hevesi vuelve a tratar el cuadro: “Un infierno de lujo, donde los instrumentos de oro de tortura están incrustados con diamantes y los mártires sangran rubíes”. La precisión en los detalles de estos textos y, sobre todo, en la descripción de los colores, ha sido tan determinante para el aprendizaje del robot como las imágenes. “Para que las pinturas fueran históricamente precisas, guiamos al algoritmo con la investigación del doctor Smola. Si sabemos que un determinado objeto tiene un color específico, agregamos ese color directamente a las fotos en blanco y negro”, explican en el Instituto de Google.

img-beforeimg-after

El antes y el después de ‘Filosofía’ de Klimt. Cortesía de Arts&Culture Google Institute

Con toda esta información, Emil Wallner, ingeniero de Google, dedicó casi seis meses a programar el código de inteligencia artificial con el que trabaja el algoritmo para que consiguiera generar predicciones de color acordes a la obra de Klimt. En el siguiente paso del proceso volvieron a entrar Smola y el equipo del laboratorio. El robot no colorea manualmente las pinturas, sino que hace un análisis estadístico de las obras de arte existentes de Klimt y aprende a imitar el estilo de coloración. Por eso, con las referencias cromáticas que había generado el algoritmo, los especialistas insertaron cuidadosamente los colores en las tres pinturas del maestro austriaco.

“El resultado fue sorprendente porque pudimos colorear incluso las partes sobre las que no teníamos ninguna información”, explica Smola. “Cuando por primera vez vi el cielo verde de Filosofía, exclamé: ‘¿Qué es esto?’. Me quedé asombrado porque supuse que sería azul. Fue una emoción especial, algo que nunca olvidaré”, asegura Wallner. El cielo era verde esmeralda, como ya habían adelantado algunos documentos periodísticos que describían tonos verdosos en esa parte de la pintura.

El ingeniero de Google Emil Wallner y el experto en Klimt Franz Smola, en el laboratorio de Google en París.
El ingeniero de Google Emil Wallner y el experto en Klimt Franz Smola, en el laboratorio de Google en París.Google Arts

De esta manera revivieron las obras con las que el pintor provocó un escándalo —otro más a lo largo de su carrera— en la institución académica. En 1894, la Universidad de Viena encargó a Klimt y al artista Franz Matsch unas pinturas alegóricas que representaran estas tres disciplinas. Oportunidad que el primero aprovechó para criticar “la estrechez de miras del Estado y la sociedad austriaca”. Para conseguirlo, desplegó su imaginario a través de conceptos mitológicos como mujeres desnudas atrapadas en serpientes o embarazadas, niños, esqueletos, seres espectrales de largas cabelleras, todos brillantemente rematados con el característico oro de Klimt. El resultado fue la ofensa e ira de los expertos, que calificaron los cuadros de pornográficos y ofensivos.

Una técnico usa las cámaras de Google para fotografiar la obra 'Judith II', de Klimt, en la Galleria Internazionale d'Arte Moderna en Ca' Pesaro en Venecia.
Una técnico usa las cámaras de Google para fotografiar la obra ‘Judith II’, de Klimt, en la Galleria Internazionale d’Arte Moderna en Ca’ Pesaro en Venecia.Google Arts

Los investigadores de la Fundación Gustav Klimt recuerdan que tras ser requerido en varias ocasiones para que revisara sus creaciones, finalmente el pintor retiró las piezas, devolvió el dinero que le habían dado y se las vendió a Serena Lederer, una adinerada judía y coleccionista de las obras de Klimt residente en Viena que fue víctima del expolio nazi. Su colección acabó en el castillo que los oficiales de las SS incendiaron. Ahora revive en internet. El resultado se ha convertido en una experiencia de realidad aumentada en 360º que forma parte de Klimt frente a Klimt – El hombre de las contradicciones.


Source link