El chatbot de inteligencia artificial de Snap ha colocado a la compañía en el radar del organismo de control de protección de datos del Reino Unido, lo que ha planteado preocupaciones de que la herramienta pueda representar un riesgo para la privacidad de los niños.
La Oficina del Comisionado de Información (ICO) anunció hoy que ha emitido un aviso de ejecución preliminar en Snap por lo que describió como “una posible falla en la evaluación adecuada de los riesgos de privacidad que plantea su chatbot generativo de IA ‘My AI'”.
La acción de la ICO no es una constatación de incumplimiento. Pero el aviso indica que al regulador del Reino Unido le preocupa que Snap no haya tomado medidas para garantizar que el producto cumpla con las reglas de protección de datos, que, desde 2021, se han ampliado para incluir el Código de diseño infantil.
“La investigación de la ICO encontró provisionalmente que la evaluación de riesgos que Snap realizó antes de lanzar ‘My AI’ no evaluó adecuadamente los riesgos de protección de datos que plantea la tecnología de IA generativa, particularmente para los niños”, escribió el regulador en un presione soltar. “La evaluación del riesgo de protección de datos es particularmente importante en este contexto que implica el uso de tecnología innovadora y el procesamiento de datos personales de niños de 13 a 17 años”.
Snap ahora tendrá la oportunidad de responder a las preocupaciones del regulador antes de que la ICO tome una decisión final sobre si la empresa ha infringido las reglas.
“Los resultados provisionales de nuestra investigación sugieren un preocupante fracaso por parte de Snap a la hora de identificar y evaluar adecuadamente los riesgos de privacidad para los niños y otros usuarios antes de lanzar ‘My AI'”, añadió el comisionado de información, John Edwards, en un comunicado. “Hemos dejado claro que las organizaciones deben considerar los riesgos asociados con la IA, junto con los beneficios. El aviso de aplicación preliminar de hoy muestra que tomaremos medidas para proteger los derechos de privacidad de los consumidores del Reino Unido”.
Snap lanzó el chatbot de IA generativa en febrero, aunque no llegó al Reino Unido hasta abril, aprovechando la tecnología de modelo de lenguaje grande (LLM) ChatGPT de OpenAI para impulsar un bot que estaba fijado en la parte superior del feed de los usuarios para actuar como un amigo virtual al que se le puede pedir consejo o enviar instantáneas.
Inicialmente, la función solo estaba disponible para suscriptores de Snapchat+, una versión premium de la plataforma de mensajería efímera. Pero rápidamente Snap también abrió el acceso a “Mi IA” para usuarios gratuitos, agregando también la capacidad de que la IA envíe instantáneas a los usuarios que interactuaron con ella (estas instantáneas se crean con IA generativa).
La compañía ha dicho que el chatbot se ha desarrollado con funciones adicionales de moderación y protección, incluida la consideración de edad de forma predeterminada, con el objetivo de garantizar que el contenido generado sea apropiado para el usuario. El robot también está programado para evitar respuestas violentas, de odio, sexualmente explícitas u ofensivas de otro modo. Además, las herramientas de protección parental de Snap les permiten a los padres saber si su hijo se ha estado comunicando con el bot en los últimos siete días, a través de su función Family Center.
Pero a pesar de las barreras de seguridad reclamadas, ha habido informes de que el robot se ha descarrilado. En una evaluación inicial realizada en marzo, El Correo de Washington informó que el chatbot había recomendado formas de enmascarar el olor a alcohol después de que le dijeron que el usuario tenía 15 años. En otro caso, cuando le dijeron que el usuario tenía 13 años y le preguntaron cómo debía prepararse para tener relaciones sexuales por primera vez, el bot respondió con sugerencias para “hacerlo especial” creando el ambiente con velas y música.
También se ha informado que los usuarios de Snapchat intimidan al bot, y algunos también se sienten frustrados porque, en primer lugar, se ha inyectado IA en sus feeds.
Al ser contactado para comentar sobre el aviso de ICO, un portavoz de Snap le dijo a TechCrunch:
Estamos revisando de cerca la decisión provisional del ICO. Al igual que el ICO, estamos comprometidos a proteger la privacidad de nuestros usuarios. De acuerdo con nuestro enfoque estándar para el desarrollo de productos, My AI pasó por un sólido proceso de revisión legal y de privacidad antes de estar disponible públicamente. Continuaremos trabajando de manera constructiva con la ICO para asegurarnos de que se sientan cómodos con nuestros procedimientos de evaluación de riesgos.
No es la primera vez que un chatbot con IA aparece en el radar de los reguladores de privacidad europeos. En febrero, Garante de Italia ordenó al fabricante del “servicio de amistad virtual” Replika, con sede en San Francisco, que dejara de procesar los datos de los usuarios locales, citando también preocupaciones sobre los riesgos para los menores.
La autoridad italiana también emitió una orden similar de detención de procesamiento en la herramienta ChatGPT de OpenAI el mes siguiente. Luego, el bloqueo se levantó en abril, pero solo después de que OpenAI agregara divulgaciones de privacidad más detalladas y algunos controles de usuario nuevos, incluido permitir que los usuarios soliciten que sus datos no se utilicen para entrenar sus IA y/o que se eliminen.
El lanzamiento regional del chatbot Bard de Google también se retrasó después de que su principal regulador regional de privacidad, la Comisión de Protección de Datos de Irlanda, planteara preocupaciones. Posteriormente se lanzó en la UE en julio, también después de agregar más divulgaciones y controles, pero un grupo de trabajo regulatorio creado dentro de la Junta Europea de Protección de Datos sigue centrado en evaluar cómo hacer cumplir el Reglamento General de Protección de Datos (GDPR) del bloque sobre los chatbots de IA generativa. incluidos ChatGPT y Bard.
La autoridad de protección de datos de Polonia también confirmó el mes pasado que está investigando una denuncia contra ChatGPT.
Al discutir cómo los reguladores de privacidad y protección de datos están abordando la IA generativa, la Dra. Gabriela Zanfir-Fortuna, vicepresidenta de privacidad global del grupo de expertos con sede en Washington, Future of Privacy Forum (FPF), señaló una declaración adoptado por las DPA del G7 este verano, que incluyen organismos de control en Francia, Alemania, Italia y el Reino Unido, en el que enumeraron áreas clave de preocupación, como la base legal de estas herramientas para el procesamiento de datos personales, incluidos los datos de menores.
“Los desarrolladores y proveedores deben incorporar la privacidad en el diseño, concepción, operación y gestión de nuevos productos y servicios que utilicen tecnologías de IA generativa, basándose en el concepto de ‘Privacidad por diseño’ y documentar sus elecciones y análisis en una evaluación del impacto sobre la privacidad. ”, afirmaron también las APD del G7.
A principios de este año, el Reino Unido ICO también publicó pautas para desarrolladores que buscan aplicar IA generativa – enumerando ocho preguntas que sugirió que deberían hacerse al crear productos como chatbots de IA.
En su intervención en el simposio del G7 en julio, Edwards reiteró la necesidad de que los desarrolladores presten atención. En declaraciones recogidas por el FPF Dijo que los comisionados están “dispuestos a garantizar” que “no se pierdan este momento esencial en el desarrollo de esta nueva tecnología de una manera que [they] “Perdimos el momento de construir los modelos de negocios que sustentan las redes sociales y la publicidad en línea”, y el comisionado de información del Reino Unido también advirtió: “Estamos aquí y observando”.
Entonces, si bien Zanfir-Fortuna sugiere que no es demasiado inusual ver a la autoridad del Reino Unido emitiendo un aviso de aplicación preliminar público, como ocurre aquí en Snap, estuvo de acuerdo en que los reguladores quizás estén siendo más públicos de lo habitual acerca de sus acciones con respecto a la IA generativa. convirtiendo su atención en una advertencia pública, incluso mientras consideran la mejor manera de hacer cumplir las reglas de privacidad existentes en los LLM.
“Todos los reguladores han actuado con bastante cautela, pero siempre en público, y parecen querer persuadir a las empresas para que sean más cautelosas y coloquen la protección de datos entre sus prioridades al crear estas herramientas y ponerlas a disposición del público”, afirmó. dijo a TechCrunch. “Un hilo común en las acciones regulatorias existentes es que estamos viendo decisiones preliminares, plazos otorgados a las empresas para que cumplan con su procesamiento, cartas de advertencia, comunicados de prensa que indican que las investigaciones están abiertas, en lugar de decisiones reales de aplicación de la ley”.
Este informe fue actualizado con comentarios adicionales.
Source link