Cuando los juguetes impulsados por IA se salen de control

Si estás pensando en comprarle a tu hijo juguetes impulsados por IA como, digamos, un oso de peluche parlante, probablemente te imagines a este susurrando consejos de apoyo y enseñándole sobre el mundo. Probablemente no te imagines al adorable peluche participando en juegos de rol sexuales ni dando consejos a niños pequeños sobre cómo encender cerillos.

Sin embargo, eso es lo que descubrió el Grupo de Investigación de Interés Público (PIRG), organismo de control del consumidor, en una prueba reciente de juguetes nuevos para la temporada navideña. El oso de peluche con inteligencia artificial de FoloToy, llamado Kumma, que utiliza el modelo GPT-4o de OpenAI para impulsar su voz, era muy propenso a desviarse al conversar con niños, según descubrió PIRG.

Usar el modo de voz de los modelos de IA para los juguetes infantiles tiene sentido: la tecnología está hecha a medida para las baratijas mágicas que adoran los niños, y se coloca fácilmente en los estantes junto con muñecas realistas que hacen caca y eructan, y seres digitales tipo Tamagotchi que los niños quieren intentar mantener vivos. El problema es que, a diferencia de las generaciones anteriores de juguetes, los dispositivos con IA pueden ir más allá de las respuestas preprogramadas y examinadas cuidadosamente para niños.

El problema con Kumma pone de relieve un problema clave con los juguetes con IA: a menudo dependen de modelos de inteligencia artificial de terceros sobre los que no tienen control, y que inevitablemente pueden ser liberados, ya sea accidental o deliberadamente, y causar problemas de seguridad infantil. “Hay muy poca claridad sobre los modelos de IA que se utilizan en los juguetes, cómo se entrenaron y qué medidas de seguridad pueden incluir para evitar que los niños se encuentren con contenido inapropiado para su edad”, afirma Christine Riefa, especialista en derecho del consumidor de la Universidad de Reading (Inglaterra).

Por ello, la organización defensora de los derechos del niño Fairplay emitió una advertencia a los padres antes de la temporada navideña para sugerirles que se mantengan alejados de los juguetes con IA por el bien de la seguridad de sus hijos. “Faltan investigaciones que respalden los beneficios de los juguetes con IA y que demuestren su impacto a largo plazo en los niños”, afirma Rachel Franz, directora del programa Niños Pequeños Prosperan Sin Conexión de Fairplay.

Si bien FoloToy ha dejado de vender el oso Kumma y OpenAI le ha retirado el acceso a sus modelos de IA, este es solo un fabricante de juguetes con IA entre muchos. ¿Quién es responsable si algo sale mal?

Riefa afirma que también hay falta de claridad en este aspecto. “Los problemas de responsabilidad pueden estar relacionados con los datos y la forma en que se recopilan o conservan”, afirma. “Puede tratarse de la responsabilidad por el juguete con IA que incita a un niño a hacerse daño a sí mismo o a otros, o por registrar los datos bancarios de un padre”.

A Franz le preocupa que, al igual que ocurre con las grandes tecnológicas, que siempre compiten por superarse entre sí, haya aún más en juego cuando se trata de productos infantiles fabricados por jugueteras. “Es evidente que estos juguetes se están lanzando sin investigación ni medidas regulatorias”, afirma.

Riefa considera que tanto las empresas de IA que proporcionan los modelos que ayudan a los juguetes a “hablar” como las que los comercializan y venden a niños podrían ser responsables en casos legales.

“Dado que las funciones de IA están integradas en un producto, es muy probable que la responsabilidad recaiga en el fabricante del juguete”, afirma, señalando que probablemente existirían disposiciones legales en los contratos de las empresas de IA que las protejan de cualquier daño o infracción. “Por lo tanto, esto dejaría a los fabricantes de juguetes, quienes, de hecho, podrían tener muy poco control sobre los LLM empleados en sus juguetes, asumiendo los riesgos de responsabilidad”, añade.

Pero Riefa también señala que, si bien el riesgo legal recae en las empresas de juguetes, el riesgo real “recae completamente en el comportamiento del LLM”, lo que sugeriría que las empresas de IA también tienen cierta responsabilidad. Quizás eso fue lo que llevó a OpenAI a retrasar el desarrollo de sus juguetes de IA con Mattel esta semana.

Comprender quién será realmente responsable y en qué medida probablemente llevará algún tiempo, y se establecerán precedentes legales en los tribunales. Hasta que eso se resuelva, Riefa tiene una sugerencia simple: “Una medida que nosotros como sociedad, como quienes cuidamos a los niños, podemos tomar ahora mismo es boicotear la compra de estos juguetes de IA”.