Con Firefly, Adobe entra en el juego de la IA generativa

Adobe se está lanzando al juego generativo de IA con el lanzamiento de una nueva familia de modelos de IA llamada Luciérnaga.

Enfocado en llevar la IA al conjunto de aplicaciones y servicios de Adobe, específicamente la IA para generar contenido multimedia, Firefly estará compuesto por múltiples modelos de IA que “funcionarán en una variedad de casos de uso diferentes”, dijo a TechCrunch el vicepresidente de IA generativa de Adobe, Alexandru Costin. entrevista por correo electrónico.

Es una expansión de las herramientas generativas de IA que Adobe introdujo en Photoshop, Express y Lightroom durante su conferencia anual Max el año pasado, que permite a los usuarios crear y editar objetos, compuestos y efectos simplemente describiéndolos. A medida que crece el fervor en torno a la tecnología, Adobe se ha apresurado a mantener el ritmo, por ejemplo permitiendo contribuyentes para vender obras de arte generadas por IA en su mercado de contenido.

“Firefly es el siguiente paso en nuestro viaje de IA: reunir nuestros nuevos modelos ‘gentech’ con décadas de inversión en imágenes, tipografía, ilustración y más para producir activos”, dijo Costin. “Aportaremos este valor a los flujos de trabajo de nuestros clientes donde el contenido se crea en Creative Cloud, Experience Cloud y Document Cloud”.

Firefly, tal como existe hoy, en versión beta y sin precio fijo (Adobe dice que está por venir), ofrece un modelo único diseñado para generar imágenes y efectos de texto a partir de descripciones. Desarrollado con cientos de millones de fotos, el modelo pronto podrá crear contenido en las aplicaciones de Adobe, incluidas Express, Photoshop, Illustrator y Adobe Experience Manager, con un mensaje de texto. (Por ahora, tendrá que visitar un sitio web para usarlo).

Más allá de la generación básica de texto a imagen, el primer modelo Firefly de Adobe puede “transferir” diferentes estilos a imágenes existentes a la Prisma. Basándose en las descripciones proporcionadas por el usuario, también puede aplicar estilos o texturas a letras y fuentes.

Adobe dice que las ilustraciones creadas con modelos de Firefly contendrán metadatos que indican que se generaron parcial o totalmente con IA. Esa es una consideración práctica además de legal; artistas en plataformas como ArtStation han puesto en escena protestas para expresar su descontento con el torrente de nuevo arte generado por IA, mientras que China se convirtió recientemente en el primer país en prohibición Medios generados por IA sin marcas de agua.

“Con Firefly, todos los que crean contenido, independientemente de su experiencia o talento, podrán usar sus propias palabras para generar contenido de la forma en que lo sueñan”, dijo Costin.

Construyendo para creadores

En un nivel técnico, el primer modelo de Firefly no es diferente a la IA de texto a imagen como DALL-E 2 y Stable Diffusion de OpenAI. Ambos pueden transferir el estilo de una imagen a otra y generar nuevas imágenes a partir de descripciones de texto.

Pero Adobe afirma que Firefly evitará los escollos éticos y logísticos de los que han sido víctimas muchos de sus rivales. Esa es una tarea difícil.

La IA, como el primer modelo de Firefly, “aprende” a generar nuevas imágenes a partir de indicaciones de texto “entrenando” en imágenes existentes, que a menudo provienen de conjuntos de datos que se recopilaron rastreando sitios web de alojamiento de imágenes públicas. Algunos expertos sugieren que los modelos de entrenamiento que utilizan imágenes públicas, incluso las que tienen derechos de autor, estarán cubiertos por doctrina del uso justo en los EE.UU. Pero es un asunto que es improbable se resolverá en el corto plazo, particularmente a la luz de las leyes contrastantes que se proponen en el extranjero.

A saber, dos compañías detrás de las populares herramientas de arte de IA, Midjourney y Stability AI, están en el punto de mira de un Caso legal que alega que infringieron los derechos de millones de artistas al entrenar sus herramientas en imágenes extraídas de la web. El proveedor de imágenes de archivo Getty Images ha llevado a Stability AI a los tribunales, por separado, por según se informa usando millones de imágenes de su sitio sin permiso para entrenar el modelo de generación de arte Stable Diffusion.

Más allá de las preguntas no resueltas sobre la compensación de artistas y plataformas, uno de los problemas más apremiantes con la IA generativa es su tendencia a reproducir exactamente imágenes, texto y más, incluido el contenido con derechos de autor, a partir de los datos que se usaron para entrenarlo. Algunas plataformas de alojamiento de imágenes tienen prohibido Contenido generado por IA por temor a retrocesos legales, y los expertos han advertido que las herramientas de IA generativa podrían poner en riesgo a las empresas si involuntariamente incorporaran contenido protegido por derechos de autor generado por las herramientas en cualquiera de los productos que venden.

La solución de Adobe, por así decirlo, está capacitando a los modelos de Firefly exclusivamente en contenido de Adobe Stock, la biblioteca de medios libre de regalías de la compañía, junto con contenido de dominio público y con licencia abierta donde los derechos de autor han expirado. En el futuro, los usuarios podrán entrenar y ajustar los modelos de Firefly usando su propio contenido, dice Adobe, dirigiendo los resultados de los modelos hacia estilos y lenguajes de diseño específicos.

Adobe también dice que está explorando un modelo de compensación para los contribuyentes de Stock que les permitirá “monetizar sus talentos” y beneficiarse de los ingresos que genera Firefly. Podría parecerse a la recientemente lanzada por Shutterstock Fondo de Contribuyentesque reembolsa a los creadores cuyo trabajo se utiliza para entrenar modelos de arte de IA.

Pero los creadores de contenido que elijan podrán optar por no recibir capacitación, dice Adobe, agregando una etiqueta de credenciales de “no entrenar” a su trabajo.

“Entendemos que hay preguntas sobre el impacto que tendrá la IA generativa en la capacidad de los creadores para beneficiarse de sus habilidades, mantener el crédito y el control sobre su trabajo, así como preguntas sobre la viabilidad del contenido generado en entornos comerciales”, dijo Costin. “Estamos diseñando IA generativa para ayudar a los creadores a beneficiarse de sus habilidades y creatividad”.

Los artistas tienen sus razones, como obras de arte generadas por IA en su estilo que creen que no encajan correctamente. darles crédito. También temen ser asociados con un modelo que puede usarse para generar contenido objetable, como imágenes ultraviolentas, representaciones sesgadas de género, etnia y sexualidad y falsificaciones profundas no consentidas.

En el segundo punto, Costin dice que los modelos de Firefly fueron entrenados utilizando conjuntos de datos de imágenes “cuidadosamente curados” e “inclusivos” y que Adobe emplea una variedad de técnicas para detectar y bloquear contenido tóxico, incluida la moderación y los filtros automatizados y humanos. La historia ha demostrado que este tipo de medidas se pueden eludir, pero Costin sugiere que será un proceso de aprendizaje cuidadosamente guiado, aunque imperfecto.

“Hemos hecho una gran inversión en modelos para ayudar a prevenir prejuicios y daños en el contenido que genera Firefly. Esos modelos analizan tanto las indicaciones como el contenido para garantizar que Firefly genere una amplia variedad de imágenes que representen un equilibrio de culturas y etnias, además de garantizar que Firefly no genere imágenes dañinas”, dijo Costin. “Actualizaremos regularmente Firefly para mejorar su rendimiento y mitigar el daño y el sesgo en su producción. También proporcionamos mecanismos de retroalimentación para que nuestros usuarios informen resultados potencialmente sesgados o brinden sugerencias sobre nuestros procesos de prueba y desarrollo”.

El mecanismo de exclusión mencionado anteriormente, que viene después crítica de la comunidad creativa con respecto a las políticas de inteligencia artificial de Adobe, se orquestará a través de la Iniciativa de autenticidad de contenido (CAI) y la Coalición para la procedencia y autenticidad del contenido, dos asociaciones fundadas para promover los metadatos de procedencia estándar de la industria para los medios. (Adobe es miembro de ambos). Adobe dice que está presionando para que la industria adopte la etiqueta “no entrenar” para que siga el contenido donde sea que se use, publique o almacene, asegurando que los modelos no estén entrenados en contenido fuera de los límites. independientemente de dónde termine el contenido.

El de Adobe es solo uno de varios esfuerzos para brindarles a los artistas más control sobre el papel de su arte en el entrenamiento del modelo generativo. En noviembre, DeviantArt lanzó una nueva protección que se basa en una etiqueta HTML para prohibir que los robots de software que rastrean páginas en busca de imágenes descarguen esas imágenes para conjuntos de entrenamiento. Y la startup de IA Spawning, que tiene asociaciones con plataformas como ArtStation y Shutterstock, ofrece una herramienta que permite a los artistas eliminar sus imágenes de los conjuntos de datos utilizados para entrenar modelos de IA.

El tamaño del CAI (aproximadamente 900 miembros) hace que sea más probable que las propuestas de Adobe ganen algún tipo de tracción. Pero no hay garantía. Los artistas podrían encontrarse en una situación en la que se vean obligados a utilizar múltiples herramientas de exclusión voluntaria para evitar que se capacite en sus obras de arte.

Desafíos de derechos de autor

Los clientes de Adobe tendrán un dolor de cabeza diferente con el que lidiar: averiguar si realmente poseen los derechos de las obras de arte generadas por Firefly.

En los EE. UU., la guía federal más reciente no es especialmente clara sobre el estado de los derechos de autor del arte de IA. Después de rechazar inicialmente los derechos de autor de las imágenes generadas por IA creadas por Midjourney, la Oficina de derechos de autor de EE. UU. dicho que la protección de los derechos de autor “dependerá de las circunstancias”, en particular “cómo funciona la herramienta de inteligencia artificial y cómo se usó para crear el trabajo final”.

Costin admite que la ley sobre la propiedad del arte generado por IA está un poco en el aire en este momento. Pero es la creencia de Adobe, dice, que el uso de sus herramientas para agregar “entrada creativa” a una imagen generada debería ser suficiente para permitir que un creador obtenga los derechos de autor.

“Como siempre, los creadores deberán buscar los derechos de autor por sí mismos y hacer lo que sea necesario o requerido para obtener esa propiedad”, dijo Costin, cubriendo un poco sus apuestas.

Salvo un revés importante en el frente de los derechos de autor o las licencias, Adobe planea seguir adelante con Firefly, eventualmente introduciendo modelos que no solo generan imágenes y texto, sino también ilustraciones, diseños gráficos, modelos 3D y más. Costin insistió en que es un área importante de inversión para Adobe, cuya última gran apuesta, la adquisición de $ 20 mil millones de la startup Figma, está a punto de ser bloqueada por una demanda del Departamento de Justicia, según se informa.

Con la IA generativa, Adobe juega para siempre. Firefly no es más que ambiciosa, aunque llega un poco tarde a la fiesta. Por supuesto, Adobe tiene la ventaja de una enorme base de clientes integrada; Creative Cloud tiene 600 millones de usuarios activos mensuales, mientras que Experience Cloud tiene 12 000 clientes, incluido el 87 % de Fortune 100.

Esas son muchas licencias potenciales de Firefly para vender. Y si las proyecciones son correctas, sería una nueva línea de ingresos muy lucrativa desde una perspectiva por cliente. Investigación y consultoría de Acumen estimados que el mercado de la IA generativa tendrá un valor de más de $ 110 mil millones para 2030.

Pero solo el tiempo dirá si Adobe es capaz de superar los numerosos obstáculos (y competidores) que se interponen en su camino, el menor de los cuales manteniendo la costosa computación necesaria para continuar desarrollando y ejecutando nuevos modelos Firefly. Dejando a un lado los obstáculos legales y éticos, Adobe tiene que recuperar el tiempo perdido y compartir la mente, lo cual nunca es una tarea fácil en un campo hipercompetitivo.

Costin, todo optimismo, dice que la empresa está preparada para el desafío.

“Los futuros modelos de Firefly aprovecharán una variedad de activos, tecnología y datos de capacitación de Adobe y otros”, agregó. “Estamos diseñando IA generativa para ayudar a los creadores a beneficiarse de sus habilidades y creatividad. Al incorporar Firefly directamente en los flujos de trabajo de nuestros clientes, podemos ayudar a los profesionales creativos a trabajar de manera más eficiente y a dedicar su tiempo al trabajo de mayor valor que aman”.