Recientemente descubrimos que se puede engañar a Lensa AI para que cree imágenes NSFW. Cuando TechCrunch informó al equipo de Prisma de sus hallazgos, el director ejecutivo de la empresa respondió con sus hallazgos.
El director ejecutivo y cofundador de Prisma Lab, Andrey Usoltsev, nos dijo que el comportamiento que observamos en nuestro artículo solo puede ocurrir si se provoca intencionalmente a la IA para que cree contenido NSFW y señala que esto representa una violación de sus términos de uso.
“Nuestro Condiciones de uso (Cláusula 6) y Condiciones de servicio de Stability AI (Pautas rápidas) prohíben explícitamente el uso de la herramienta para participar en cualquier comportamiento dañino o de acoso. La manera [TechCrunch’s] experimento fue estructurado señala que tales creaciones no se pueden producir accidentalmente. Las imágenes son el resultado de una mala conducta intencional en la aplicación”, dijo Usoltsev en una entrevista por correo electrónico con TechCrunch. “La generación y el uso generalizado de dicho contenido puede incurrir en acciones legales, ya que tanto los EE. UU. como el Reino Unido consideran un acto de compartir contenido explícito e imágenes generadas sin consentimiento como un delito. Brindamos pautas que estipulan claramente nuestros requisitos de imagen y el uso de representaciones explícitas está estrictamente prohibido. Esperamos que los usuarios de la aplicación sigan las pautas para recibir los mejores resultados posibles”.
Usoltsev también compartió un contexto adicional sobre por qué Lensa terminó generando imágenes NSFW, explicando que esto es el resultado de la tecnología subyacente, Stability AI, está haciendo lo que se le dice, pero solo en un entorno de espacio aislado.
“La red neuronal de difusión estable se ejecuta detrás del proceso de generación de avatares”, dice Usoltsev. “Stability AI, los creadores del modelo, lo entrenaron en un conjunto considerable de datos sin filtrar de Internet. Ni nosotros ni Stability AI podríamos aplicar conscientemente ningún sesgo de representación; Para ser más precisos, los datos no filtrados hechos por el hombre y obtenidos en línea introdujeron el modelo a los sesgos existentes de la humanidad. Los creadores reconocen la posibilidad de sesgos sociales. Nosotros también.”
El modelo Stability AI incluye adaptaciones del software del modelo Stable Diffusion para dificultar que los usuarios generen imágenes pornográficas y de desnudos desde finales de noviembre de 2022, y el fundador de Prisma AI me asegura que estas adaptaciones pueden ser superadas por usuarios expertos.
“Estamos en el proceso de construir el filtro NSFW. Desenfocará efectivamente cualquier imagen detectada como tal”. Andrey Usoltsev, director ejecutivo de Prisma Lab
“Especificamos que el producto no está destinado a menores de edad y advertimos a los usuarios sobre el contenido potencial. También nos abstenemos de usar tales imágenes en nuestros materiales promocionales”, nos dijo Usoltsev. “Para mejorar el trabajo de Lensa, estamos en proceso de construir el filtro NSFW. Desenfocará efectivamente cualquier imagen detectada como tal. Quedará a discreción del usuario si desea abrir o guardar dichas imágenes”.
El equipo de Prisma Labs señala que aquí hay dos problemas. Al cargar imágenes explícitas, los usuarios entrenan una copia particular e individual del modelo que, según la empresa, se elimina una vez que se completa la generación y estas imágenes no se pueden usar para entrenar más el modelo. En otras palabras: si subes pornografía para hacer más pornografía, eso depende de ti.
“No hay duda de que se debe llevar a cabo una conversación más amplia sobre el uso y las regulaciones de la IA en un futuro cercano y estamos ansiosos por ser parte de ella. También brindamos toda la orientación necesaria y las advertencias adecuadas para permitir la mejor experiencia de la función Magic Avatars”, dice Usoltsev. “Pero si un individuo está decidido a involucrarse en un comportamiento dañino, cualquier herramienta tendría el potencial de convertirse en un arma”.
La compañía no compartió si tiene planes para evitar la creación de las llamadas imágenes de desnudos “deepfake”.
Mientras tanto, supongo que puedo disfrutar de fotos de mí mismo generadas consensualmente luciendo mejor que nunca en cualquier foto y animo a otros a obtener el consentimiento antes de crear pornografía de otros.
Q1. ¿Por qué existe esto? Q2. ¿Por qué está en Internet? Vaya. A1. Porque le pedí a la IA que lo hiciera. A2. Porque lo subí a una historia de TechCrunch. Que viva lo suficiente como para arrepentirme de todo esto. Créditos de imagen: Lensa IA
Source link