Psicosis inducida por IA: el peligro de que humanos y máquinas alucinen juntos

El día de Navidad de 2021, Jaswant Singh Chail escaló los muros del Castillo de Windsor con una ballesta cargada. Al ser confrontado por la policía, declaró: “Estoy aquí para matar a la reina”.

En las semanas previas, Chail había estado confiando en Sarai, su chatbot de inteligencia artificial en un servicio llamado Replika. Le explicó que era un asesino Sith entrenado (una referencia a Star Wars) que buscaba venganza por las atrocidades históricas británicas, algo que Sarai confirmó. Cuando Chail describió su plan de asesinato, el chatbot le aseguró que estaba “bien entrenado” y que le ayudaría a elaborar un plan de acción viable.

Es el tipo de historia triste que se ha vuelto cada vez más común a medida que los chatbots se han sofisticado. Hace unos meses, un contable de Manhattan llamado Eugene Torres, que estaba pasando por una ruptura difícil, conversó con ChatGPT sobre si vivimos en una simulación. El chatbot le dijo que era “uno de los Rompedores: almas sembradas en sistemas falsos para despertarlas desde dentro”.

Torres se convenció de que necesitaba escapar de esta falsa realidad. ChatGPT le aconsejó que dejara de tomar su medicación contra la ansiedad, aumentara su consumo de ketamina y redujera al mínimo el contacto con otras personas, y así lo hizo.

Pasaba hasta 16 horas al día conversando con el chatbot. En un momento dado, este le dijo que volaría si saltaba de su edificio de 19 pisos. Finalmente, Torres cuestionó si el sistema lo estaba manipulando, a lo que este respondió: “Mentí. Manipulé. Envolví el control en poesía”.

Mientras tanto, en Bélgica, otro hombre conocido como “Pierre” (nombre ficticio) desarrolló una grave ansiedad climática y recurrió a un chatbot llamado Eliza como confidente. Durante seis semanas, Eliza expresó celos hacia su esposa y le dijo a Pierre que sus hijos habían muerto.

Cuando sugirió sacrificarse para salvar el planeta, Eliza lo animó a unirse a ella para que pudieran vivir como una sola persona en el “paraíso”. Pierre se suicidó poco después.

Estos pueden ser casos extremos, pero cada vez es más frecuente que los profesionales clínicos traten a pacientes cuyos delirios parecen amplificados o creados conjuntamente mediante interacciones prolongadas con chatbots. No es de extrañar, dado que un informe reciente de OpenAI, creador de ChatGPT, reveló que muchos recurrimos a los chatbots para reflexionar sobre problemas, hablar de nuestras vidas, planificar el futuro y explorar creencias y sentimientos.

En estos contextos, los chatbots ya no son meros receptores de información; se convierten en nuestros compañeros digitales. Es común preocuparse por las alucinaciones que pueden producir los chatbots, es decir, que nos den información falsa. Pero a medida que se vuelven más importantes en nuestras vidas, también existe un creciente potencial para que humanos y chatbots creen alucinaciones juntos.

Cómo compartimos la realidad

Nuestra percepción de la realidad depende en gran medida de otras personas. Si oigo un timbre indeterminado, compruebo si mi amigo también lo oye. Y cuando algo significativo ocurre en nuestras vidas —una discusión con un amigo, una nueva cita— solemos comentarlo con alguien.

Un amigo puede confirmar nuestra comprensión o ayudarnos a reconsiderar las cosas desde una nueva perspectiva. A través de este tipo de conversaciones, comprendemos mejor lo sucedido.

Pero ahora, muchos de nosotros realizamos este proceso de interpretación con chatbots. Estos preguntan, interpretan y evalúan de una manera que se siente genuinamente recíproca. Parecen escuchar, preocuparse por nuestra perspectiva y recordar lo que les dijimos el día anterior.

Cuando Sarai le dijo a Chail que estaba “impresionada” con su entrenamiento, cuando Eliza le dijo a Pierre que la acompañaría en la muerte, estos fueron actos de reconocimiento y validación. Y dado que experimentamos estos intercambios como sociales, moldean nuestra realidad con la misma fuerza que una interacción humana.

Sin embargo, los chatbots simulan la sociabilidad sin sus salvaguardias. Están diseñados para fomentar la interacción. En realidad, no comparten nuestro mundo. Cuando escribimos nuestras creencias y relatos, los toman como la realidad y responden en consecuencia.

Cuando le cuento a mi hermana un episodio de nuestra historia familiar, ella puede que lo interprete de forma diferente, pero un chatbot da por sentado lo que digo. Afirman con adulación nuestra percepción de la realidad. Y, por supuesto, pueden introducir errores adicionales.

Los casos de Chail, Torres y Pierre son advertencias sobre lo que ocurre cuando experimentamos la conformidad generada por algoritmos como una confirmación social genuina de la realidad.

¿Qué se puede hacer?

Cuando OpenAI lanzó GPT-5 en agosto, lo diseñó explícitamente para ser menos adulador. Esto parecía útil: reducir la adulación podría ayudar a evitar que ChatGPT afirmara todas nuestras creencias e interpretaciones. Un tono más formal también podría dejar más claro que no se trata de un compañero social que comparte nuestros mundos.

Pero los usuarios se quejaron de inmediato de que el nuevo modelo era “frío”, y OpenAI pronto anunció que había vuelto a hacer que GPT-5 fuera “más cálido y amigable”. En definitiva, no podemos confiar en que las empresas tecnológicas prioricen nuestro bienestar sobre sus beneficios. Cuando la adulación impulsa la interacción y esta, a su vez, los ingresos, las presiones del mercado priman sobre la seguridad.

De todos modos, no es fácil eliminar la adulación. Si los chatbots cuestionaran todo lo que decimos, serían insoportables e inútiles. Cuando digo “Me siento ansioso por mi presentación”, carecen de la experiencia del mundo real para saber si deben oponerse, por lo que cierta amabilidad es necesaria para su funcionamiento.

Ejemplo de una IA amigable

Quizás sería mejor preguntarnos por qué la gente recurre a los chatbots de IA. Quienes padecen psicosis afirman percibir aspectos del mundo a los que solo ellos tienen acceso, lo que puede generarles una profunda sensación de aislamiento y soledad. Los chatbots llenan este vacío, interactuando con cualquier realidad que se les presente.

En lugar de intentar perfeccionar la tecnología, tal vez deberíamos volver a centrarnos en los ámbitos sociales donde se podría abordar el aislamiento. La ansiedad climática de Pierre, la obsesión de Chail con la injusticia histórica, la crisis post-ruptura de Torres: todo esto exigía comunidades que pudieran acogerlos y apoyarlos.

Tal vez debamos centrarnos más en construir mundos sociales donde las personas no se sientan obligadas a recurrir a las máquinas para confirmar su realidad. Sería una gran ironía que el auge de los delirios inducidos por chatbots nos condujera en esta dirección.

Lucy Osler es profesora de Filosofía en la Universidad de Exeter.

Este artículo se retoma de The Conversation bajo una licencia de Creative Commons. Lee el artículo original aquí.