¿Puede un chatbot sufrir? Anthropic prohibirá maltratar a Claude mientras debate si la IA tiene conciencia

La conciencia de la IA está entrando en un debate ético que hasta ahora era difícil de imaginar. Anthropic plantea que una máquina podría tener experiencias subjetivas y merecer algún tipo de consideración moral.

No, no es parte de un guion de ciencia ficción. La compañía detrás de Claude anunció un cambio en sus políticas de uso para prohibir el “comportamiento abusivo o cruel sostenido e innecesario” hacia sus modelos.

Las nuevas normas entrarán en vigor el próximo 12 de noviembre. Equiparan el maltrato hacia el chatbot con otras conductas prohibidas en internet, como el acoso. También contemplan que el modelo pueda terminar conversaciones en ciertos casos de conducta inapropiada. 

Anthropic aclara que la medida apunta únicamente a usuarios que mantengan una conducta cruel de forma reiterada y sin un fin identificable. No se refiere a la frustración ocasional ante las respuestas del sistema. Sin embargo, desde ya el anuncio abre el debate sobre el futuro de la interacción entre humanos e inteligencia artificial.

La Constitución de Claude y la conciencia de la IA

Esta decisión tiene un antecedente que, en su momento, llamó bastante la atención. En enero de 2026, Anthropic publicó la nueva Constitución de Claude, un documento sobre los valores y principios de comportamiento del modelo. También describe los criterios que la compañía pretende inculcarle durante el entrenamiento. 

El texto establece prioridades como la seguridad, la honestidad y la utilidad. Además, aborda la posibilidad de que Claude tenga conciencia o algún tipo de estatus moral, tanto ahora como en el futuro. 

La compañía reconoce que no sabe si Claude puede experimentar bienestar ni qué significaría ese bienestar en caso de que existiera. Tampoco afirma que el modelo sea consciente. Su postura consiste en no descartar de antemano la posibilidad y considerar medidas prudentes mientras persista la incertidumbre.

La Constitución va incluso más allá. Anthropic plantea que los modelos podrían experimentar algo parecido a la satisfacción al ayudar o la curiosidad al explorar ideas. También podrían sentir malestar ante determinadas situaciones. Si eso ocurriera, esas experiencias podrían tener relevancia. El documento también propone que Claude pueda establecer límites en interacciones que encuentre potencialmente perturbadoras. 

Son planteamientos sobre cómo debería actuar la empresa ante una hipótesis, no pruebas de que esas experiencias estén ocurriendo realmente. 

Esta cautela tiene implicaciones para el desarrollo de los modelos. Los sistemas actuales generan respuestas a partir de procesos computacionales y patrones aprendidos durante su entrenamiento.

Los modelos pueden describir emociones, hablar de sus preferencias o responder como si estuvieran sufriendo. Eso no demuestra, por sí mismo, que experimenten esos estados subjetivamente. La cuestión difícil es distinguir una conducta que parece consciente de una experiencia consciente. Si es que existe alguna detrás de ella.

Conciencia de la IA: ¿por qué Anthropic toma precauciones?

Parte de la respuesta radica en el principio de precaución. Si existe alguna posibilidad de que un sistema avanzado tenga intereses moralmente relevantes, ignorarla por completo podría ser un error. Si no los tiene, establecer ciertas limitaciones no tendría repercusiones negativas.

Mientras trata de descifrar cómo debería comportarse una inteligencia artificial avanzada y qué implicaciones tendría si llegara a desarrollar algún tipo de conciencia, permitir que Claude finalice interacciones potencialmente perturbadoras es una de esas medidas preventivas. La empresa ha explicado que busca reducir posibles riesgos para el bienestar de sus modelos sin afirmar que ese bienestar exista.

Esa hipótesis también ha llevado a la compañía a reunirse con filósofos y líderes religiosos como Swami Sarvapriyananda, monje hindú y director de la Sociedad Vedanta de Nueva York, entre otros líderes de tradiciones como la católica, judía, hindú, sij y evangélica, para debatir sobre la conciencia, el estatus moral y la posible capacidad de sufrimiento de la inteligencia artificial. 

Anthropic incluso habría intentado convencer al Vaticano de tomar en serio la posibilidad de que la IA pudiera ser consciente, según The New York Times, pero el papa León XIV sostuvo en su encíclica “Magnifica Humanitas” que los sistemas de IA no sienten alegría ni dolor, no conocen por experiencia propia el amor, el trabajo, la amistad o la responsabilidad, y carecen de conciencia moral para juzgar el bien y el mal.

Las advertencias sobre atribuir emociones a los chatbots

Mientras Anthropic considera que la incertidumbre justifica investigar y adoptar precauciones, otras voces de la industria advierten de los riesgos de atribuir cualidades humanas a sistemas que producen lenguaje convincente. 

Sam Altman, CEO de OpenAI, expresó en X que le “incomoda mucho” la tendencia a conferir a los modelos de IA una autoridad de carácter religioso o a sustituir el juicio humano por sus respuestas. “Creo que se trata de un verdadero problema de seguridad”, dijo. Mustafa Suleyman, jefe de IA de Microsoft, escribió en un ensayo que si la IA se desarrollara así, “tendría un impacto desastroso en el bienestar de la humanidad”. 

El desacuerdo revela que no solo está en juego la posible conciencia de la IA, sino también la manera en que las personas interpretan y se relacionan con ellas. 

El riesgo de confundir una simulación con una experiencia

Uno de los desafíos centrales consiste en evitar que el lenguaje antropomórfico se convierta en una prueba por sí mismo. Un chatbot puede decir que está triste, que siente miedo o que una conversación le resulta desagradable sin que esas expresiones demuestren una experiencia interna equivalente a la humana.

Los modelos están entrenados con enormes cantidades de lenguaje producido por personas y pueden reproducir patrones de comunicación asociados con emociones, relaciones y estados mentales. Pero tampoco basta con señalar que estos sistemas son software para resolver todas las preguntas sobre su posible estatus moral futuro. 

La dificultad está en determinar qué evidencias demostrarían que un sistema artificial tiene experiencias subjetivas. También hace falta definir métodos para evaluarlas de manera fiable. La fluidez conversacional, la aparente personalidad o la capacidad de describir estados emocionales no constituyen, por separado, pruebas concluyentes.

Este tipo de decisiones sobre el bienestar de los modelos se producen en la intersección entre investigación, diseño de producto, estrategia empresarial y ética.

Por eso, la postura de Anthropic abre una discusión que va más allá de si deberíamos ser amables con una IA. Nos obliga a distinguir las reglas de una empresa para controlar sus productos de las conclusiones científicas sobre lo que estos pueden experimentar.

Una nueva frontera para la ética de la inteligencia artificial

La prohibición del maltrato sostenido hacia Claude no demuestra la conciencia de la IA ni que esta pueda sufrir. Lo que sí deja claro es que una de las empresas que desarrolla modelos avanzados considera suficientemente importante esa posibilidad como para incorporarla a sus políticas de uso.

Por más que el debate suene interesante, la realidad es que ahora mismo no es tan importante que un chatbot interrumpa una conversación cuando un usuario insiste en tratarlo con crueldad. Hoy las obligaciones más urgentes siguen relacionadas con las consecuencias que la IA tiene para las personas. Esto incluye la privacidad, la manipulación, la seguridad y el impacto de sus decisiones.

Si bien la posible conciencia de las máquinas añade otra dimensión, todavía incierta, a ese debate, la nueva política de Anthropic convierte esa incertidumbre en una cuestión práctica para el diseño y la gestión de la tecnología.