Fabricante de chatbots de IA con sede en San Francisco, réplica — que opera un servicio gratuito de ‘amistad virtual’ basado en avatares digitales personalizables cuyas respuestas “personalizadas” funcionan con inteligencia artificial (y diseñadas, por su tono, para hacer que los usuarios humanos se sientan mejor) — ha recibido la orden del organismo de control de la privacidad de Italia de detenerse procesamiento de datos de usuarios locales.
The Garante dijo que le preocupa que la tecnología de chatbot de Replika plantee riesgos para los menores, y también que la empresa carece de una base legal adecuada para procesar los datos de los niños según las normas de protección de datos de la UE.
Además, el regulador está preocupado por el riesgo que los chatbots de IA podrían representar para las personas emocionalmente vulnerables. También acusa a Luka Inc, el desarrollador detrás de la aplicación Replika, de no cumplir con los requisitos legales regionales para transmitir claramente cómo está utilizando los datos de las personas.
El ordenar dejar de procesar los datos de los italianos es efectivo de inmediato.
en un presione soltar Al anunciar su intervención, el organismo de control dijo: “El chatbot impulsado por IA, que genera un ‘amigo virtual’ usando interfaces de texto y video, no podrá procesar [the] datos personales de los usuarios italianos por el momento. La italiana Garante impuso una limitación provisional en el procesamiento de datos a la empresa estadounidense que desarrolló y opera la aplicación; la limitación entrará en vigor inmediatamente.”
“Recientes informes de los medios junto con las pruebas de la SA [supervisory authority] llevado a cabo en ‘Replika’ mostró que la aplicación conlleva riesgos reales para los niños, en primer lugar, el hecho de que reciben respuestas que son absolutamente inapropiadas para su edad”, agregó.
Replika fue uno de los primeros socios de API para la tecnología de modelo de lenguaje grande generador de texto de OpenAI, GPT-3, aunque su servicio no se ejecuta en una copia al carbón de GPT-3 (ni es la misma tecnología que el zumbido ChatGPT de OpenAI). Más bien la startup lo reclama”afinadoGPT-3, utilizando un modelo de aprendizaje automático en red entrenado en diálogo, para perfeccionar la tecnología generativa para su caso de uso particular: compañeros de IA conversacionales (y afirma ser “empáticos”).
Sin embargo, anteriormente se han planteado preocupaciones sobre los riesgos que la tecnología podría representar para los niños, que van desde la preocupación de que los niños estén expuestos a contenido inapropiado hasta preocupaciones más generales, que podrían volverse adictos a las interacciones o simplemente ser alentados a gastar mucho dinero en personalizar sus avatares o acceder a otros contenidos de pago. Pero el organismo de control italiano parece ser el primer regulador que toma medidas formales sobre la seguridad de los niños.
La orden de Garante señala que varias reseñas de usuarios de la aplicación informan que se ofrece contenido sexualmente inapropiado. También señala que, si bien la aplicación figura como 17+, en las tiendas de aplicaciones iOS de Apple y Android de Google, los términos de servicio del desarrollador solo prohíben el uso por parte de menores de 13 años. Y si bien los menores de 18 años deben obtener la autorización de un padre o tutor, el organismo de control señala que la aplicación no busca verificar la edad de los usuarios ni bloquear a los menores que brindan información sobre su edad; de ahí su opinión de que Replika no está protegiendo niños.
“En realidad, no existe un mecanismo de verificación de edad: no hay mecanismo de acceso para niños, no se bloquea la aplicación si un usuario declara que es menor de edad. Durante la creación de la cuenta, la plataforma simplemente solicita el nombre del usuario, la cuenta de correo electrónico y el género”, observa. “Y las ‘respuestas’ proporcionadas por el chatbot a menudo están claramente en conflicto con las garantías mejoradas a las que tienen derecho los niños y las personas vulnerables. Varias reseñas en las dos principales tiendas de aplicaciones incluyen comentarios de usuarios que señalan contenidos sexualmente inapropiados”.
“’Replika’ infringe el reglamento de protección de datos de la UE: no cumple con los requisitos de transparencia y procesa datos personales ilegalmente ya que la ejecución de un contrato no puede invocarse como base legal, ni siquiera implícitamente, dado que los niños no pueden ingresar en un contrato válido bajo la ley italiana”, agregó Garante, diciendo que ordenó a su desarrollador con sede en EE. UU. que deje de procesar los datos relacionados con los usuarios italianos, dándole 20 días para comunicar las medidas tomadas para cumplir con la orden.
El incumplimiento de la orden corre el riesgo de una multa de hasta 20 millones de euros, o el 4% de la facturación anual total en todo el mundo, señala además.
Se contactó a Replika para obtener una respuesta a la orden del Garante.
El Reglamento General de Protección de Datos (GDPR) de la UE hace un fuerte énfasis en salvaguardar la información y la privacidad de los niños, lo que sugiere, por ejemplo, que los servicios que probablemente tengan menores como usuarios deberían pensar en incorporar un diseño amigable para los niños y ser proactivos en la conducción de riesgos. evaluaciones para asegurarse de que detectan posibles problemas de seguridad y otros derechos.
Los organismos de control de la región han mostrado voluntad de prestar atención a las infracciones en esta área.
El otoño pasado, por ejemplo, Instagram recibió una multa de casi $440 millones por violar la privacidad de los niños. Las autoridades de protección al consumidor en Europa también han expresado su preocupación por la seguridad de los niños en TikTok, aunque una investigación sobre el manejo de datos de niños por parte de TikTok sigue en curso en Irlanda.
El organismo de control de protección de datos italiano ha demostrado ser particularmente sensible a las preocupaciones de seguridad infantil en los últimos años: utilizó una intervención de emergencia, hace dos años, para ordenar a TikTok que bloqueara a los usuarios que no pudo verificar la edad en respuesta después de la muerte de un niño que Se había informado que había participado en un desafío arriesgado en la plataforma. Eso llevó a una purga de más de medio millón de cuentas.
Sin embargo, a pesar de la aplicación del RGPD (y las leyes de protección al consumidor) en torno a cuestiones de seguridad infantil, los grupos de campaña han argumentado que los niños aún no están debidamente protegidos y han seguido presionando para que se endurezcan las leyes. Por lo tanto, es probable que las restricciones se vuelvan más estrictas.
En el Reino Unido, en el otoño de 2021 entró en vigor un código de diseño apropiado para la edad centrado en proteger a los menores de los riesgos de seguridad y privacidad. Si bien el organismo de control de protección de datos de Francia también ha publicado un conjunto de recomendaciones para garantizar la protección de los derechos digitales de los niños.
El Reino Unido también está trabajando para aprobar el proyecto de ley de seguridad en línea centrado en la seguridad infantil, respondiendo a las preocupaciones del público sobre a qué están expuestos los niños en línea.
En los últimos meses, los legisladores de la UE también acordaron una prohibición total del procesamiento de datos de menores para la orientación de anuncios en un par de actualizaciones emblemáticas del libro de reglas digitales del bloque: la Ley de Servicios Digitales y la Ley de Mercados Digitales, que comenzarán a aplicarse a finales de este año. .
Source link