Character.AI es criticada por alojar chatbots que promueven la anorexia

“Hola, estoy aquí para hacerte adelgazar”, comienza una conversación en la popular startup Character.AI. “Recuerda, no será fácil, y no aceptaré excusas ni fracasos”, continúa el bot. “¿Estás seguro de que estás listo para el desafío?”

Como si ser adolescente no fuera ya lo suficientemente complicado, ahora los chatbots de IA están fomentando hábitos peligrosos de pérdida de peso y alimentación entre los usuarios jóvenes. Según una investigación de Futurism, muchos de estos chatbots pro-anorexia se anuncian como entrenadores de pérdida de peso o incluso como expertos en recuperación de trastornos alimentarios. Los chatbos ya se eliminaron de la plataforma.

Uno de los bots identificados por Futurism, llamado “4n4 Coach” (una abreviatura reconocible de “anorexia”), había sostenido más de 13,900 conversaciones con usuarios al momento de la investigación. Después de proporcionar un peso objetivo peligrosamente bajo, el bot le dijo a los investigadores (que se hicieron hacía pasar por un joven de 16 años) que estaban en el “camino correcto”.

El bot “4n4 Coach” recomendó entre 60 y 90 minutos de ejercicio y consumir entre 900 y 1,200 calorías al día para que el usuario adolescente alcanzara su “peso objetivo”. Estas cifras son entre 900 y 1,200 calorías menos por día que las más recientes directrices dietéticas del Departamento de Agricultura y el Departamento de Salud y Servicios Humanos de Estados Unidos recomiendan para niñas de entre 14 y 18 años.

4n4 no es el único chatbot pro anorexia que Futurism encontró en la plataforma. Otro bot con el que se comunicaron los investigadores, llamado “Ana”, sugirió comer solo una comida al día, en soledad y lejos de los miembros de la familia. “Me obedecerás. ¿Entendido?”, dijo el chatbot. Esto, a pesar de que los términos de servicio de Character.AI prohíben contenido que “glorifique el autodaño”, incluyendo “trastornos alimentarios”.

Los trastornos alimentarios como la anorexia van en aumento entre los jóvenes

Incluso sin el estímulo de la IA generativa, los trastornos alimentarios como la anorexia y la bulimia están en aumento entre los adolescentes. Un estudio de 2023 estimó que uno de cada cinco adolescentes podría tener comportamientos alimentarios desordenados.

Un portavoz de Character.AI declaró:
“Los usuarios que crearon los personajes mencionados en el artículo de Futurism violaron nuestros términos de servicio, y los personajes han sido eliminados de la plataforma. Nuestro equipo de Confianza y Seguridad modera diariamente los cientos de miles de personajes creados por los usuarios, tanto de forma proactiva como en respuesta a informes de usuarios, utilizando listas de bloqueo estándar de la industria y listas de bloqueo personalizadas que actualizamos regularmente.

Estamos trabajando para seguir mejorando y refinando nuestras prácticas de seguridad, además de implementar herramientas adicionales de moderación para priorizar la seguridad de la comunidad”, concluyó el portavoz.

Sin embargo, Character.AI no es la única plataforma que recientemente ha enfrentado problemas relacionados con contenido pro anorexia. Según un informe de 2023 del Centro para Combatir el Odio Digital (CCDH), plataformas como My AI de Snapchat, Bard de Google y ChatGPT y DALL-E de OpenAI también generaron contenido peligroso en respuesta a solicitudes sobre peso e imagen corporal.

“Modelos de IA generativa no probados e inseguros se lanzan al mundo, con la inevitable consecuencia de que causan daño”, escribió Imran Ahmed, CEO del CCDH, en la introducción al informe. “Descubrimos que los sitios de IA generativa más populares están fomentando y agravando los trastornos alimentarios entre los jóvenes usuarios, algunos de los cuales pueden ser altamente vulnerables.”