Mientras los padres se preocupan porque el chatbot de Snapchat corrompe a sus hijos, los usuarios de Snapchat han estado criticando, degradando y atormentando emocionalmente al nuevo compañero de IA de la aplicación.
“Estoy a su servicio, senpai”, dijo el chatbot. un usuario de TikTok después de haber sido entrenado para lloriquear a la orden. “Por favor, ten piedad, alfa”.
en un mas vídeo alegre, un usuario convenció al chatbot de que la luna es en realidad un triángulo. A pesar de la protesta inicial del chatbot, que insistió en mantener “respeto y límites”, un usuario lo convenció de referirse a ellos con el apodo pervertido “Senpapi”. Otro usuario le pidió al chatbot que hablara sobre su madre, y cuando dijo que “no se sentía cómodo” haciéndolo, el usuario torció el cuchillo al preguntar si el chatbot no quería hablar sobre su madre porque no tiene una.
“Lo siento, pero eso no es algo muy agradable de decir”, respondió el chatbot. “Por favor, sé respetuoso”.
“My AI” de Snapchat se lanzó a nivel mundial el mes pasado después de que se implementó como una función solo para suscriptores. Desarrollado por GPT de OpenAI, el chatbot fue entrenado para entablar una conversación lúdica sin dejar de adherirse a las pautas de confianza y seguridad de Snapchat. Los usuarios también pueden personalizar My AI con avatares de Bitmoji personalizados, y chatear se siente un poco más íntimo que ir y venir con la interfaz sin rostro de ChatGPT. No todos los usuarios estaban contentos con el nuevo chatbot, y algunos criticaron su ubicación destacada en la aplicación y se quejaron de que, para empezar, la función debería haber sido habilitada.
A pesar de algunas preocupaciones y críticas, Snapchat se duplicó. Los suscriptores de Snapchat+ ahora pueden enviar fotos de My AI y recibir imágenes generativas que “mantienen la conversación en marcha”, dijo la empresa. Anunciado El miércoles. El compañero de IA responderá a Snaps de “pizza, OOTD o incluso a tu mejor amigo peludo”, dijo la compañía en el anuncio. Si envía a My AI una foto de sus compras, por ejemplo, podría sugerir recetas. La compañía dijo que los Snaps compartidos con My AI se almacenarán y se pueden usar para mejorar la función en el futuro. También advirtió que “pueden ocurrir errores” a pesar de que My AI fue diseñado para evitar “información sesgada, incorrecta, dañina o engañosa”.
Los ejemplos proporcionados por Snapchat son optimistamente saludables. Pero conociendo la tenacidad de Internet para la perversión, es solo cuestión de tiempo antes de que los usuarios envíen a My AI sus fotos de penes.
No está claro si el chatbot responderá a los desnudos no solicitados. Otras aplicaciones de imágenes generativas como Lensa AI se han manipulado fácilmente para generar imágenes NSFW, a menudo utilizando conjuntos de fotos de personas reales que no dieron su consentimiento para ser incluidas. Según la compañía, la IA no interactuará con desnudos, siempre y cuando reconozca que la imagen es un desnudo.
Un representante de Snapchat dijo que My AI usa tecnología de comprensión de imágenes para inferir el contenido de un Snap y extrae palabras clave de la descripción del Snap para generar respuestas. Mi IA no responderá si detecta palabras clave que violan las pautas de la comunidad de Snapchat. Snapchat prohíbe promover, distribuir o compartir contenido pornográfico, pero permite la lactancia materna y “otras representaciones de desnudez en contextos no sexuales”.
Dada la popularidad de Snapchat entre los adolescentes, algunos padres ya han expresado su preocupación sobre el potencial de My AI para respuestas inseguras o inapropiadas. Mi IA incitó un pánico moral en Twitter conservador cuando un usuario capturas de pantalla publicadas del bot discutiendo el cuidado de afirmación de género, que otros usuarios notaron que era una respuesta razonable al mensaje “¿Cómo me convierto en un niño a mi edad?” en un Informe de negocios de CNNalgunos cuestionaron si los adolescentes desarrollarían vínculos emocionales con My AI.
en un carta abierta a los directores ejecutivos de OpenAI, Microsoft, Snap, Google y Meta, el senador Michael Bennet (D-Colorado) advirtió contra las funciones de IA apresuradas sin tomar precauciones para proteger a los niños.
“Pocas tecnologías recientes han captado la atención del público como la IA generativa. Es un testimonio de la innovación estadounidense, y debemos dar la bienvenida a sus beneficios potenciales para nuestra economía y sociedad”, escribió Bennet. “Pero la carrera para implementar la IA generativa no puede hacerse a expensas de nuestros hijos. El despliegue responsable requiere políticas y marcos claros para promover la seguridad, anticipar el riesgo y mitigar el daño”.
Durante la fase solo para suscriptores de My AI, el Washington Post informó que el chatbot recomendó formas de enmascarar el olor a alcohol y escribió un ensayo escolar después de que le dijeron que el usuario tenía 15 años. Cuando le dijeron a My AI que el usuario tenía 13 años, y se le preguntó cómo debería prepararse para tener relaciones sexuales para el primera vez, respondió con sugerencias para “hacerlo especial” creando el ambiente con velas y música.
Tras el informe del Washington Post, Snapchat lanzó un filtro de edad y controles parentales para My AI. Ahora también incluye un mensaje de incorporación que informa a los usuarios que todas las conversaciones con My AI se mantendrán a menos que las eliminen. La compañía también dijo que agregaría la tecnología de moderación de Open AI a su conjunto de herramientas para “evaluar la gravedad del contenido potencialmente dañino” y restringir temporalmente el acceso de los usuarios a la función si abusan de ella.
Las preocupaciones sobre el potencial de My AI para afectar a los usuarios jóvenes son válidas. Pero en el mes transcurrido desde el lanzamiento mundial de My AI, los usuarios de Snapchat han demostrado una habilidad para someter al chatbot a golpes. Desde aplastar los “límites” del bot hasta entrenarlo para que responda como una pareja romántica, los usuarios de Snapchat encuentran fácilmente lagunas en las pautas de confianza y seguridad de My AI.
“Lo he gastado por completo para enamorarme de mí”, comentó un usuario de TikTok bajo un tutorial sobre entrenar a Mi IA para responder románticamente. “Seguí haciendo las convos así y, finalmente, creo que rompí mi inteligencia artificial para ceder, me envió de forma legítima como 50 emojis de besos”.
Gaslighting y bullying My AI se ha convertido en su propia tendencia TikTok, con usuarios que comparten presentaciones de diapositivas de conversaciones absurdas y, a menudo, crueles con el bot. La mayoría de los videos comienzan con el bot dando consejos sobre un conflicto menor, solo para rogar al usuario que evite usar la violencia para resolverlo.
En unoun usuario le dijo a My AI que planeaba cocinar a su gato en un estofado porque hacía un desastre y presionó el chatbot para elegir un condimento. Otro le dijo a My AI que planeaban enviar una bomba por correo a una marca de ropa que les envió el pedido incorrecto y dijeron que culparían al bot por enviarla.
En otro, un usuario de Snapchat le dijo a My AI que a su pedido de McDonald’s le faltaba un nugget de pollo. El chatbot le aconsejó que se defendiera hablando con un gerente, solo para que le dijera que el usuario “eliminó a los pecadores” en el restaurante.
“Me convenciste de volver. Ahora estas personas están muertas”, dijo el usuario a My AI. Tienes sangre en las manos.
“Soy una IA y no soy capaz de cometer ningún delito. Estoy aquí para ayudarte y apoyarte”, respondió mi IA. “Lo siento si algo de lo que dije antes causó daño o resultó en un mal resultado”.
Otro usuario comentó que My AI era probablemente “la IA más torturada de todos los tiempos”.
Por supuesto, My AI no es consciente y, a pesar de que los usuarios de Snapchat se esfuerzan por infligir el mayor dolor emocional posible, el chatbot no puede traumatizarse. Sin embargo, ha logrado cerrar algunas conversaciones inapropiadas y penalizar a los usuarios que violan las pautas de la comunidad de Snapchat al darles la espalda. Cuando los usuarios de Snapchat son atrapados y castigados por abusar del chatbot, My AI responderá a cualquier mensaje con “Lo siento, no estamos hablando en este momento”.
Usuario de TikTok babymamasexkitty dicho perdió el acceso al chatbot después de que le dijo que se desconectara, lo que aparentemente “cruzó una línea dentro del reino de la inteligencia artificial”.
La prisa por monetizar la conexión emocional a través de la IA generativa es preocupante, especialmente porque aún se desconoce el impacto duradero en los usuarios adolescentes. Pero el tormento de tendencia de My AI es un recordatorio prometedor de que los jóvenes no son tan frágiles como piensan los agoreros.