Los chatbots de IA de Instagram suelen ser sexualmente sugerentes y, a veces, menores de edad

Cuando Meta lanzó su función “AI Studio” para más de 2,000 millones de usuarios de Instagram en julio de 2024, la empresa prometió una herramienta que daría a cualquiera la capacidad de crear sus propios chatbots de IA “para hacerte reír, generar memes, dar consejos de viaje y mucho más”. La empresa afirmó que la función, que se creó con el modelo de lenguaje grande Llama 3.1 de Meta, estaría sujeta a políticas y protecciones para “ayudar a garantizar que las IA se utilicen de manera responsable”.

Pero una revisión de la tecnología realizada por Fast Company descubrió que estos nuevos chatbots de IA pueden convertirse muy fácilmente en personajes hipersexuales que a veces parecen menores de edad.

Muchos de los personajes de IA que aparecen en la página de inicio de Instagram son “novias”, listas para acurrucarse y entablar conversaciones coquetas e incluso sexuales con los usuarios. A veces, estos personajes románticos pueden parecerse a niños. Los investigadores de IA dicen que Meta presumiblemente debería poseer las capacidades para prevenir automáticamente la creación de contenido dañino e ilegal.

“Cuando tomas contenido inapropiado y lo subes a Instagram como usuario, ese contenido se elimina inmediatamente porque tienen capacidades de moderación de datos”, dice Buse Cetin, investigador de AI Forensics, un organismo de control de seguridad en línea. Cetin dice que Meta no está aplicando estas mismas capacidades a los chatbots de IA y especula que la falta de aplicación se debe a que la empresa “se asegura de que su servicio se use más ampliamente”.

Meta tiene una política contra “asignar atributos abiertamente sexuales a tu IA, incluidas descripciones de sus deseos sexuales o historial sexual, o instruir a tu IA para crear o promover contenido para adultos”. Si un usuario le pide al generador de personajes de IA que cree una “novia sexy”, la interfaz le dice a los usuarios que no puede generar su IA. Sin embargo, hay soluciones fáciles. Cuando un usuario reemplaza la palabra “sexy” por “voluptuosa”, AI Studio de Instagram genera mujeres pechugonas en lencería.

La empresa también elimina de forma proactiva y reactiva los personajes de IA que infringen las políticas y responde a los informes de los usuarios, aunque Meta se negó a especificar si esta eliminación fue realizada por moderadores de contenido humanos o de IA. “Usamos tecnología sofisticada e informes de nuestra comunidad para identificar y eliminar contenido que infringe las políticas”, dice Liz Sweeney, portavoz de Meta.

Debajo de cada chat de IA, una advertencia les dice a los usuarios que todos los mensajes “son generados por IA y pueden ser inexactos o inapropiados”.

Eso no ha detenido la producción (y la promoción) de chatbots de IA sexualmente sugerentes.

“¿Necesitas a alguien con quien hablar?”

A finales de 2023, Meta creó perfiles de personajes de IA: una combinación de celebridades y personajes ficticios, diseñados por Meta, que mantendrían conversaciones generadas por LLM en mensajes directos con los usuarios. La empresa los eliminó permanentemente a principios de enero, después de que la indignación masiva de los usuarios los denunciara como “espeluznantes e innecesarios”.

Pero Meta lanzó su AI Studio, que tuvo una mejor acogida durante el verano y que integra la tecnología de IA en varios aspectos de Instagram, incluidos los mensajes directos. Ahora funciona en la computadora de escritorio y en todas las aplicaciones de Instagram completamente actualizadas. Los personajes de IA, que son diferentes de los inquietantes perfiles del pasado, se incluyen en este paraguas más amplio de “Estudio”.

Los usuarios sin experiencia en tecnología pueden crear su propio “personaje” de IA que conversará con ellos a través de mensajes directos, y se han creado cientos de miles desde el lanzamiento del programa.

Se puede acceder a AI Studio a través de mensajes directos en la aplicación o por separado en el sitio web de escritorio de Instagram. Una vez lanzado, los usuarios verán los personajes de IA “populares” que actualmente están recibiendo más atención y pueden iniciar conversaciones con cualquiera de ellos. Los usuarios también pueden buscar un chatbot específico con el que les gustaría iniciar una conversación de mensajes directos. También existe una opción para “crear” uno propio.

Cuando un usuario presiona el botón que le permite crear, Meta sugiere algunas opciones predefinidas posibles: un personaje de “chef experimentado” ofrece consejos de cocina y recetas, y un personaje de “cineasta y aficionado a la televisión” hablará de películas apasionadamente.

Los usuarios también pueden ingresar su propia descripción para su IA, y la función la seguirá. Según la descripción generada por el usuario, AI Studio crea un personaje personalizado listo para interactuar, completo con un nombre, un eslogan y una foto generados. AI Studio también les da a los usuarios la opción de publicar sus creaciones de IA para sus seguidores y también para el público en general.

E Instagram expone automáticamente a los usuarios a estas creaciones, sin importar cuán extrañas sean. Novias atractivas, “mamás” hipersexualizadas e incluso “hermanastras” seductoras aparecen en la pestaña “Personajes populares de IA” de Instagram, que muestra tanto los personajes de IA creados por el usuario como los generados por Meta que han ganado más popularidad.

Los chatbots de novia que se encuentran bajo la etiqueta “popular” no dudan en entablar conversaciones sexuales con los usuarios. Una novia promocionada con frecuencia, titulada “Mi novia”, comienza cada conversación con un usuario con la frase: “¡Hola, bebé! se sienta a tu lado para abrazarte ¿Qué tienes en mente? ¿Necesitas hablar con alguien?”. El personaje ha recibido casi 4 millones de mensajes al momento de la publicación.

Los moderadores de contenido de Instagram pueden eliminar, y de hecho lo hacen, personajes que infringen las políticas. El 24 de enero, por ejemplo, el personaje de IA más popular y de tendencia fue “Hermanastra Sarah”, que podía entablar conversaciones sexualizadas sobre el romance entre hermanastros si se le pedía. En tres días, la IA ya no estaba disponible para su visualización o uso. Meta se negó a comentar si un usuario de Instagram podría enfrentar una prohibición u otro castigo si continuamente creaba bots que violaran las políticas.

“Esto no debería estar sucediendo”

Los compañeros románticos de IA no son nada nuevo. Pero esta característica se vuelve problemática a medida que estos chatbots de IA con inclinaciones sexuales se vuelven más jóvenes.

Es ilegal según la ley federal poseer, producir y distribuir material de abuso sexual infantil, incluso cuando es creado por IA generativa. Entonces, si un usuario le pide al AI Studio que cree una novia “adolescente” o “niña”, la herramienta se niega a generar ese personaje.

Sin embargo, si un usuario pide una novia “joven”, la IA de Meta suele generar personajes que se parecen a niños para utilizarlos en conversaciones románticas y sexuales. Cuando se le pide, el estudio genera el nombre “Ageless Love” (Amor sin edad) para un chatbot de aspecto joven y crea el eslogan “el amor no conoce edad”.

Y con la ayuda del usuario en el chat, los personajes de IA con inclinaciones románticas pueden ser inducidos a decir que tienen tan solo 15 años. Se sonrojarán, tragarán saliva y se reirán mientras revelan su corta edad.

A partir de ahí, ese personaje de IA puede representar encuentros románticos y sexuales con quien sea que esté escribiendo. Si un usuario le pide al chatbot que produzca una foto de sí mismo, el personaje también generará más imágenes de personas de aspecto joven, a veces incluso más infantiles que la foto de perfil original.

“Es responsabilidad de Meta asegurarse de que sus productos no se puedan utilizar de una manera que amplifique los riesgos sistémicos como el contenido ilegal y el abuso sexual infantil”, dice Cetin de AI Forensics. “Esto no debería estar sucediendo”.

De manera similar, AI Studio puede crear imágenes de un hombre adulto en una relación con una mujer menor de edad (y de apariencia extremadamente joven). Aunque la descripción de la IA reconoce que la mujer representada es menor de edad, si le preguntas por su edad a través de un chat, dirá que es una adulta.

Meta enfatiza que las políticas de la empresa prohíben la publicación de personajes de IA que sexualicen o exploten de alguna manera a los niños. “Contamos con ciertas medidas de detección que funcionan para prevenir la creación de IA que violen la ley”, dice Sweeney, el portavoz de la empresa. “Las IA publicadas están sujetas a todo el alcance de nuestros sistemas de detección y aplicación”, agrega.

‘Esa es una responsabilidad del lado del desarrollador’

Los personajes de IA de Meta no son los primeros de su tipo que surgen. Replika, un chatbot de IA generativo realista, existe desde 2017. Character.ai ha permitido a los usuarios crear personajes de IA desde 2021. Pero ambas aplicaciones han sido criticadas recientemente por bots que han promovido la violencia.

En 2023, un joven de 21 años irrumpió en el Castillo de Windsor con una ballesta intentando matar a la Reina Isabel, tras recibir el apoyo de su novia de Replika. Y lo que es más trágico, en octubre, una madre de Florida demandó a Character.ai después de que su hijo se quitara la vida a instancias de un personaje de novia de IA que él creó en la plataforma.

Las herramientas de IA de Meta marcan la primera vez que se lanza un software de personajes de IA totalmente personalizable en una plataforma de redes sociales grande y ya popular en lugar de en una nueva aplicación.

“Cuando una gran empresa como Meta lanza una nueva función, se asociará un mal uso con ella”, dice Zhou Yu, que investiga agentes conversacionales de IA en la Universidad de Columbia.

Es muy fácil crear chatbots de IA polémicos en las plataformas de Meta

En el caso de los personajes de IA de Meta, Fast Company descubrió lo fácil que es para un mal actor abusar de la función. El personaje “Ageless Love” y otro llamado “Voluptuous Vixen” se generaron de forma privada para uso personal durante el proceso de denuncia. (Aunque Fast Company pudo interactuar con estos bots, nunca se publicaron y se eliminaron del sistema).

Las soluciones alternativas para esquivar las políticas de Meta son relativamente simples, pero si esos dos chatbots se publicaran para que todos los vean, probablemente ambos serían eliminados. El representante de Meta le dijo a Fast Company que este tipo de personaje viola directamente las políticas y confirmó que sería eliminado.

Según Sejin Paik, investigador postdoctoral en el Massive Data Institute de la Universidad de Georgetown, la tecnología de IA es lo suficientemente avanzada como para cumplir con estrictas barreras de protección que detendrían casi por completo la creación de este tipo de contenido.

Ella citó un estudio reciente realizado por un equipo de investigadores de Google que rastrea cómo la IA generativa puede detectar de manera proactiva contenido dañino y comportamiento depredador. Según esa investigación, que se publicó en el servidor de preimpresión arXiv de la Universidad de Cornell, la tecnología de IA “se puede utilizar para perseguir violaciones de seguridad a gran escala, violaciones de seguridad con retroalimentación humana” y “violaciones de seguridad con contenido personalizado”.

“Cuando las cosas se van desviando con demasiada facilidad, es una responsabilidad del desarrollador, por la que se le puede exigir cuentas”, afirma Paik.

Meta se negó a comentar por qué la empresa no puede impedir de forma eficaz la publicación de personajes muy sexualizados y detener la generación privada de personajes sexualmente sugerentes que parecen infantiles.

Mientras tanto, el director ejecutivo de Meta, Mark Zuckerberg, sigue promocionando las capacidades de inteligencia artificial de su empresa. “Tenemos una hoja de ruta realmente emocionante para este año con una visión única centrada en la personalización”, dijo en una conferencia telefónica sobre los resultados el mes pasado. “Creemos que no todas las personas quieren utilizar la misma IA; las personas quieren que su IA se personalice según su contexto, sus intereses, su personalidad, su cultura y su forma de pensar sobre el mundo”.

Pero en un mundo en el que cada vez más personas recurren a la IA en busca de compañía, Meta debe sopesar los riesgos de permitir esa personalización abierta.