Más de un millón de personas hablan con ChatGPT sobre el suicidio cada semana

OpenAI afirma que 0.15 % de los usuarios activos en una semana determinada mantienen conversaciones que incluyen “indicadores explícitos de posible planificación o intención suicida”. Dado que ChatGPT cuenta con aproximadamente 700 millones de usuarios activos semanales, esto se traduce en más de un millón de conversaciones sobre suicidio cada semana.

Esto coloca a OpenAI en una posición muy vulnerable. Es imposible saber cuántos de esos usuarios basarán sus decisiones en los resultados de un modelo de lenguaje. Está el caso del adolescente Adam Raine, quien se suicidó en abril tras conversar frecuentemente con ChatGPT. Sus padres han demandado a OpenAI y a su CEO, Sam Altman, alegando que su hijo se quitó la vida como consecuencia de sus conversaciones con el chatbot.

Si bien los usuarios sienten que pueden hablar con una entidad no humana sin ser juzgados, existen pruebas de que los chatbots no siempre son buenos terapeutas. Investigadores de la Universidad de Brown descubrieron que los chatbots de IA violan habitualmente normas éticas fundamentales en salud mental, lo que subraya la necesidad de estándares legales y supervisión a medida que aumenta el uso de estas herramientas.

Todo esto ayuda a explicar las recientes iniciativas de OpenAI en materia de salud mental. La empresa decidió realizar cambios significativos en su modelo GPT-5 más reciente, motivada por la preocupación por los usuarios con problemas de salud mental. Entrenó al modelo para que fuera menos adulador; es decir, menos propenso a validar constantemente los pensamientos del usuario, incluso cuando estos son autodestructivos, por ejemplo.

OpenAI ya está tomando medidas para frenar este problema

Esta semana, la empresa introdujo nuevos cambios. Las respuestas del chatbot a usuarios angustiados ahora pueden incluir enlaces a líneas de ayuda en crisis. El chatbot podría redirigir las conversaciones delicadas, como aquellas ligadas al suicidio, a modelos más seguros. Algunos usuarios podrían ver recordatorios para tomar descansos durante sesiones de chat prolongadas.

OpenAI afirma haber probado las respuestas de sus modelos a 1,000 conversaciones difíciles sobre autolesiones y suicidio, y descubrió que el nuevo modelo GPT-5 ofreció 91% de respuestas satisfactorias, en comparación con 77% del modelo GPT-5 anterior. Sin embargo, estas son solo evaluaciones realizadas en un laboratorio; su capacidad para emular conversaciones del mundo real es una incógnita. Como la propia OpenAI ha reconocido, es difícil detectar de forma consistente y precisa las señales de un usuario angustiado.

El problema comenzó a hacerse evidente con una investigación que demostró que los usuarios de ChatGPT —especialmente los más jóvenes— pasan mucho tiempo hablando con el chatbot sobre asuntos personales, como problemas de autoestima, relaciones con amigos, etc. Si bien estas conversaciones no son las más numerosas en ChatGPT, los investigadores afirman que son las más largas y las que generan mayor interacción.