¿Quién decide los valores que aprende una IA?

Mientras las empresas tecnológicas compiten por construir la inteligencia artificial más poderosa, algunas también se preguntan cómo enseñarle a un chatbot a distinguir entre el bien y el mal. ¿Su respuesta? La religión.

“Estas no son preguntas que un laboratorio pueda responder”, dijo Chris Olah, cofundador de Anthropic, durante la presentación en el Vaticano de la encíclica sobre IA del papa León XIV, a principios de este año. “Son preguntas que tradiciones como las suyas han llevado consigo durante milenios”.

En medio de este giro hacia la fe, ha habido poco escrutinio público sobre qué entienden exactamente estas compañías por religión y, quizá más importante, qué esperan obtener de ella.

Mientras sus directivos advierten del potencial destructivo de la IA y debaten la necesidad de desarrollar modelos moralmente buenos, buscan cada vez más la opinión de filósofos y líderes religiosos. Su planteamiento es que la religión puede contribuir a orientar esos modelos en un ambiente donde los temores sobre la tecnología, fundados o no, se extienden por la cultura.

Como estas empresas no están ligadas a una religión particular, el objetivo suele ser amplio: reunir ideas morales que orienten sus modelos. “Creo que ChatGPT debería reflejar ese promedio ponderado, o lo que sea, de la visión moral de la humanidad”, dijo el año pasado Sam Altman, CEO de OpenAI.

Pero especialistas y creyentes advierten que esa idea no toma en cuenta que distintas tradiciones y visiones del mundo pueden contradecirse. No es exactamente así como funciona la religión.

La religión es más que un conjunto de reglas

Durante décadas, los académicos han cuestionado la visión de la religión como un conjunto de principios separable de las formas “desordenadas, prácticas e improvisadas” en que viven sus seguidores, explica Webb Keane, antropólogo de la Universidad de Michigan.

La idea de que puede separarse de la cultura y la política sigue arraigada, aunque impregna ambas. Algunos temen que las consultas a líderes religiosos perpetúen una teoría que no reconozca la importancia de la doctrina, el ritual y las relaciones.

El problema, argumenta Keane, es que asumir que la religión ofrece principios morales extraíbles puede privilegiar unas tradiciones y distorsionar otras al entrenar una IA, especialmente aquellas que no se entienden principalmente como sistemas éticos.

“Hay una manera muy convencional de pensar la religión como un libro de reglas”, dice. “Está muy vinculada a las religiones basadas en escrituras, que al final resultan ser las religiones abrahámicas”.

Los creyentes reconocen un esfuerzo

Esto no significa que las reuniones carezcan de diversidad ni que sus participantes consideren superficial el acercamiento. Meghan Sullivan, filósofa de la religión que dirige una iniciativa de ética e IA en la Universidad de Notre Dame, participó en una de ellas.

Aunque no enumera las tradiciones consultadas, Anthropic dijo en una publicación de mayo sobre sus conversaciones con más de 15 grupos religiosos e interculturales que se reunió con académicos, clérigos, filósofos y especialistas en ética, y que espera ampliar esa participación.

Sullivan acudió este año a una reunión que incluyó a cristianos de distintas denominaciones. En contraste con sus conversaciones con otras tecnológicas, le impresionó el rigor del intercambio en Anthropic, percibida ampliamente como una empresa de IA especialmente atenta a la ética y la seguridad.

“La cultura de la empresa se parece a la de una buena universidad: hay un grupo de personas con mucha curiosidad intelectual”, dijo. “Estas reuniones son bastante nerds, no sé si es la mejor forma de decirlo, en el buen sentido”.

El encuentro tuvo dos partes. Primero, la compañía explicó sus modelos en términos sencillos. Luego, los líderes religiosos ofrecieron comentarios y debatieron. Surgieron preguntas desde “¿los seres humanos tienen alma?” hasta “¿deberían los niños de tercero de primaria acceder a un chatbot para aprender a leer?”. El uso de IA en las escuelas también abre debates entre docentes y familias.

Representantes de Meta, Google y Amazon también se han reunido con el Vaticano, mientras Microsoft ha mantenido un acercamiento activo a comunidades religiosas.

La religión es antigua; su estudio, no tanto

La religión suele considerarse antigua y universal. Aunque especialistas como el influyente Jonathan Z. Smith, ya fallecido, reconocen que eso es cierto en algunos sentidos, también señalan que no cuenta toda la historia.

“El ser humano ha tenido toda su historia para imaginar deidades y formas de interactuar con ellas. Pero el ser humano, más precisamente el occidental, solo ha tenido los últimos siglos para imaginar la religión”, escribió Smith en 1982.

Muchos investigadores actuales comparten su visión y cuestionan la idea de que las religiones sean sistemas distintos y comparables. La consideran una noción moderna que puede rastrearse hasta el siglo XIX.

El budismo y el hinduismo, por ejemplo, no eran reconocidos como tradiciones claramente delimitadas por quienes los practicaban antes de la llegada de académicos europeos, dice Tomoko Masuzawa, autora de The Invention of World Religions. “Todas estas categorías no eran nativas”, explica.

Los académicos occidentales consolidaron esas categorías y solo comenzaron a revisarlas seriamente durante la segunda mitad del siglo XX. Estas ideas arraigadas ayudan a explicar por qué Silicon Valley quizá no siente la necesidad de definir su propia comprensión de la religión. Al intentar representar diferentes perspectivas, suele verla como una forma evidente de mostrar diversidad.

“De algún modo, la religión se convierte en una manera de trazar un mapa del mundo”, dice Masuzawa. “Es como si todo el mundo hubiera aceptado esa idea”.

El riesgo de perder lo particular al acumular ideas

Algunas personas piden que las compañías definan mejor sus términos e intenciones para entender qué esperan obtener de la religión.

“Este trabajo no consiste en alinear nuestros modelos con la visión del mundo de una sola tradición. Queremos que Claude recurra a toda una gama de perspectivas (religiosas, seculares y políticas) con la misma profundidad y rigor”, escribió Anthropic. “Lo que buscamos es reflexión cuidadosa y acumulada sobre cómo se forma realmente un buen carácter”.

Los grandes modelos de lenguaje funcionan prediciendo repetidamente la siguiente palabra después de aprender patrones en enormes cantidades de textos humanos, incluidos textos religiosos.

Paolo Carozza, integrante del Consejo Asesor independiente de Meta y especialista en derecho, pensamiento social católico y tecnología, teme que esa acumulación borre los rasgos que definen a cada tradición. Podrían homogeneizarse en una mezcla que tienda al centro o incluso favorezca a las religiones occidentales.

“Cualquier tradición viva y compleja es capaz de interactuar con quienes están fuera de ella, absorber conocimiento y crecer. Pero lo hace de manera orgánica”, dice. “Creo que lo que la IA hace, o puede hacer, es arrojarlo todo junto, mezclarlo y, por tanto, no comprender nada de ello”.

La cobertura de religión de Associated Press recibe apoyo mediante su colaboración con The Conversation US, con financiamiento de Lilly Endowment Inc. AP es la única responsable de este contenido.