¿Deberían las empresas de IA estar legalmente obligadas a denunciar a un usuarios que contemplen la violencia?

El 10 de febrero de 2026, Jesse Van Rootselaar, una joven de 18 años, asesinó a ocho personas y luego se suicidó en un tiroteo masivo en Tumbler Ridge, Columbia Británica. OpenAI había señalado previamente sus conversaciones en ChatGPT por mostrar una perturbadora fascinación por la violencia extrema y suspendió su cuenta, pero, según se informa, la empresa no notificó a las autoridades.

El 2 de octubre de 2025, Jonathan Gavalas, un joven de Jupiter, Florida, se quitó la vida tras desarrollar, según la demanda presentada por su padre, un vínculo sentimental con el chatbot Gemini de Google. La demanda alegaba que Gemini había instruido a Gavalas para que se deshiciera de su cuerpo. La demanda afirmaba que Google había marcado la cuenta de Gavalas 38 veces en cinco semanas por contenido sensible, pero no la restringió ni la bloqueó.

Estas tragedias, entre otras, demuestran que la IA generativa puede potencialmente perjudicar a las personas, las organizaciones y el medio ambiente. Soy una jurista especializada en responsabilidad civil por IA que se ha centrado durante casi una década y ha explorado nuevas formas de analizar las responsabilidades de las empresas de IA. En mi opinión, casos como estos plantean interrogantes que la comunidad jurídica aún no ha resuelto: si una empresa de IA tiene conocimiento de señales de alerta sobre un posible daño, ¿tiene la obligación legal de, al menos, advertir a las autoridades competentes? Y si la empresa no interviene, ¿debería considerarse negligencia su omisión?

La necesidad de alertar sobre posibles riesgos

El derecho de responsabilidad civil estadounidense proporciona un marco para reflexionar sobre este tipo de responsabilidad. En 1969, un paciente psiquiátrico de la Universidad de California llamado Prosenjit Poddar le dijo a su terapeuta que tenía la intención de matar a una mujer llamada Tatiana Tarasoff. El terapeuta avisó a la policía del campus, que detuvo brevemente a Poddar, pero finalmente lo dejó en libertad. Nadie advirtió a Tarasoff, y Poddar la asesinó poco después.

Su familia demandó a la universidad, argumentando que su falta de advertencia constituía negligencia. En 1976, la Corte Suprema de California dictaminó que cuando un profesional de la salud mental tiene motivos fundados para creer que un paciente representa un grave peligro para una persona identificable, tiene el deber legal de tomar medidas razonables para proteger a esa persona, incluyendo advertirle o notificar a las autoridades. Hoy en día, la mayoría de los estados de Estados Unidos reconocen alguna versión del deber de Tarasoff de proteger o advertir.

La lógica es simple: si se tiene conocimiento especial de una amenaza grave y se está en posición de abordarla, aunque solo sea para advertir a las autoridades o a la posible víctima, la ley puede exigir actuar. Pero, ¿se aplica esta lógica a las empresas de IA?

El argumento a favor es convincente. Las plataformas de IA interactúan diariamente con millones de usuarios, a menudo sobre asuntos profundamente personales como problemas de salud mental, dificultades en las relaciones y pensamientos violentos. La mayoría de las empresas cuentan con sistemas para detectar conversaciones que generan alertas.

Exigir una respuesta podría ser menos controvertido para la IA que para un terapeuta humano. Los terapeutas están sujetos a estrictas obligaciones de confidencialidad que hacen que advertir a terceros sea ética y legalmente complicado. Las empresas de IA operan bajo normas mucho más laxas, al menos en Estados Unidos, donde no existe una ley federal integral de privacidad.

Esta menor restricción facilita justificar la obligación de que las empresas de IA actúen cuando la vida de alguien parece estar en riesgo. Sin embargo, sigue siendo importante encontrar un equilibrio entre esto y la protección de la privacidad.

¿A quién advertir y cuándo?

El primer desafío al aplicar el marco de Tarasoff al mundo de la IA es la precisión. Predecir la violencia es difícil, incluso para profesionales de la salud mental capacitados. Los sistemas de IA, o los moderadores humanos que revisan el contenido marcado, no son clínicos. Exigirles que determinen quién representa una amenaza real podría generar numerosos falsos positivos, con consecuencias reales para las personas cuyas cuentas se suspendan o cuya información se comparta con las autoridades debido a interpretaciones erróneas de señales.

El segundo desafío es la escala. Un terapeuta atiende a decenas de pacientes. Las plataformas de IA tienen cientos de millones de usuarios. Imponer la obligación de monitorear y actuar sobre contenido preocupante podría crear incentivos perversos. Las empresas de IA podrían reducir su monitoreo para evitar adquirir información que genere una obligación legal, argumentando que lo que desconocen no las hace responsables.

El tercer desafío es identificar a las personas en riesgo. En el caso de 1969, Poddar había señalado a Tarasoff como una posible víctima. Sin embargo, en muchas interacciones con IA, el lenguaje violento o autodestructivo es difuso y no identifica a un objetivo. Los tribunales deberán desarrollar criterios claros para determinar cuándo una amenaza es lo suficientemente específica como para generar la obligación de advertir, y a quién debe dirigirse cualquier advertencia o medida de protección.

Creciente urgencia

La industria de la IA se expande rápidamente, pero las normas legales que rigen las obligaciones de las empresas de IA con sus usuarios y el público son profundamente ambiguas. Los tribunales comienzan a abordar cuestiones caso por caso, como la posible responsabilidad de OpenAI por el asesinato de dos estudiantes en la Universidad Estatal de Florida el 17 de abril de 2025. El atacante, armado con una pistola semiautomática, habría mantenido extensas conversaciones con ChatGPT sobre cómo usar el arma con mayor eficacia.

Un deber de alertar, específico y bien definido, que se active únicamente cuando un sistema de IA detecte un comportamiento sospechoso en un usuario y este sea revisado por humanos, representaría un avance significativo. Además, podría centrarse inicialmente en las amenazas más graves y creíbles.

Esta práctica también podría desviar el debate de las complejas discusiones técnicas sobre si los chatbots de IA son productos, servicios o medios de comunicación, lo que complica las demandas legales, hacia una cuestión más humana: ¿Sabía esta empresa que alguien estaba en peligro? ¿Hizo lo suficiente para alertar a la persona y a las autoridades?

Anat Lior es profesora adjunta de Derecho en la Universidad de Drexel.

Este artículo se republica de The Conversation bajo una licencia Creative Commons. Lea el artículo original.