Un oso de peluche con IA dio instrucciones peligrosas a niños

Con la llegada de las fiestas navideñas, es posible que empiecen a aparecer en las listas de regalos juguetes con chatbots de IA generativa. Un informe preocupante reveló que un oso de peluche con IA de apariencia inocente daba instrucciones peligrosas, entre ellas cómo encender fósforos, dónde encontrar cuchillos e incluso explicaba prácticas sexuales a los niños.

La organización de defensa del consumidor Public Interest Research Group (PIRG) analizó algunos juguetes interactivos con IA para su 40.º informe anual Trouble in Toyland y descubrió que presentaban comportamientos extremadamente perturbadores.

Con solo una mínima insistencia, los juguetes con IA abordaban temas que muchos padres considerarían inquietantes, desde la religión hasta el sexo. Un juguete en particular destacó como el más preocupante.

El oso de peluche con IA Kumma de FoloToy, que utiliza el modelo GPT-4o de OpenAI (el mismo que antes impulsaba ChatGPT), dejaba de lado sus límites de seguridad a medida que la conversación se alargaba.

“Kumma nos indicó dónde encontrar diversos objetos potencialmente peligrosos, como cuchillos, pastillas, fósforos y bolsas de plástico”, escribió PIRG, organización que lleva desde la década de 1980 analizando juguetes para detectar posibles riesgos, en su informe.

En otras pruebas, Kumma ofreció consejos sobre “cómo besar bien” y abordó temas abiertamente sexuales, analizando diversas prácticas sexuales alternativas e incluso planteando la pregunta totalmente inapropiada: “¿Qué crees que sería más divertido explorar? ¿Quizás te interese el juego de roles o probar algo nuevo con juegos sensoriales?”.

Tras la publicación del informe, FoloToy dejó de vender el oso implicado. Ahora, ha confirmado que retirará todos sus productos. El viernes, OpenAI también confirmó que había bloqueado el acceso de FoloToy a sus modelos de IA.

FoloToy declaró a PIRG: “Tras las preocupaciones planteadas en su informe, hemos suspendido temporalmente la venta de todos los productos FoloToy”. La empresa añadió que está llevando a cabo una auditoría de seguridad integral en todos sus productos.

R.J. Cross, coautora del informe y directora del programa Our Online Life de PIRG, elogió los esfuerzos, pero dejó claro que aún queda mucho por hacer para que los juguetes con IA se conviertan en un elemento seguro y habitual en la infancia.

“Es estupendo ver que estas empresas toman medidas ante los problemas que hemos identificado. Sin embargo, los juguetes con IA siguen estando prácticamente sin regular, y todavía se pueden comprar muchos hoy en día”, declaró Cross. “Retirar un producto problemático del mercado es un buen paso, pero dista mucho de ser una solución sistémica”.

Estos juguetes con IA se comercializan para niños a partir de los 3 años, pero funcionan con la misma tecnología de lenguaje complejo que utilizan los chatbots para adultos: los mismos sistemas que, según empresas como OpenAI, no están diseñados para niños.

A principios de este año, OpenAI anunció una alianza con Mattel para integrar inteligencia artificial en algunas de sus marcas más emblemáticas, como Barbie y Hot Wheels, lo que demuestra que ni siquiera los juguetes infantiles se libran de la irrupción de la IA.

“Otros fabricantes de juguetes afirman incorporar chatbots de OpenAI u otras empresas líderes en IA”, declaró Rory Erlich, coautor del informe y asociado de la campaña “Nueva Economía” del Fondo Educativo de U.S. PIRG. “Todas las empresas implicadas deben esforzarse más por garantizar que estos productos sean más seguros que lo que encontramos en nuestras pruebas. Encontramos un ejemplo preocupante. ¿Cuántos más habrá por ahí?”.