Así es como los investigadores ayudan a la IA a tener datos precisos

La IA ha hecho que sea más fácil que nunca encontrar información: pregúntale a ChatGPT casi cualquier cosa y el sistema te dará una respuesta rápidamente. Pero los grandes modelos de lenguaje que impulsan herramientas populares como ChatGPT de OpenAI o Claude de Anthropic no fueron diseñados para ser precisos o factuales. Regularmente “alucinan” y ofrecen falsedades como si fueran hechos concretos.

Sin embargo, la gente confía cada vez más en la IA para responder a sus preguntas. La mitad de todas las personas en Estados Unidos entre las edades de 14 y 22 años ahora usan IA para obtener información, según un estudio de Harvard de 2024. Un análisis de The Washington Post encontró que más del 17% de los mensajes en ChatGPT son solicitudes de información.

Una forma en que los investigadores están tratando de mejorar la información que brindan los sistemas de IA es hacer que los sistemas indiquen qué tan seguros están de la precisión de sus respuestas. Soy una científica informática que estudia el procesamiento del lenguaje natural y el aprendizaje automático. Mi laboratorio en la Universidad de Michigan ha desarrollado una nueva forma de obtener puntuaciones de confianza que mejora la precisión de las respuestas de los chatbots de IA. Pero las puntuaciones de confianza tienen un límite.

Popular y problemático

Las empresas de tecnología líderes están integrando cada vez más la IA en los motores de búsqueda. Google ahora ofrece resúmenes de IA que aparecen como resúmenes de texto sobre la lista habitual de enlaces en cualquier resultado de búsqueda. Otros motores de búsqueda emergentes, como Perplexity, están desafiando a los motores de búsqueda tradicionales con sus propios resúmenes generados por IA.

La conveniencia de estos resúmenes ha hecho que estas herramientas sean muy populares. ¿Por qué buscar en el contenido de varios sitios web cuando la IA puede proporcionar la información más pertinente en unos pocos segundos?

Las herramientas de IA parecen ofrecer una vía más sencilla y rápida para obtener información. Pero también pueden llevar a las personas por mal camino o incluso exponerlas a falsedades dañinas. Mi laboratorio ha descubierto que incluso los modelos de IA más precisos alucinan en 25 % de las afirmaciones. Esta tasa de alucinaciones es preocupante porque otras investigaciones sugieren que la IA puede influir en lo que las personas piensan.

Los modelos de lenguaje alucinan porque aprenden y operan con patrones estadísticos extraídos de una enorme cantidad de datos de texto, muchos de los cuales provienen de internet. Esto significa que no necesariamente se basan en hechos del mundo real. También carecen de otras competencias humanas, como el sentido común y la capacidad de distinguir entre expresiones serias y sarcásticas.

Todo esto quedó en evidencia la primavera pasada, cuando un usuario le pidió a la herramienta AI Overviews de Google que sugiriera una forma de evitar que el queso se resbale de una pizza. La herramienta recomendó rápidamente mezclar el queso con pegamento. Luego salió a la luz que alguien había publicado una vez esta recomendación obviamente irónica en Reddit. Como la mayoría de los grandes modelos de lenguaje, el modelo de Google probablemente había sido entrenado con información extraída de una miríada de fuentes de internet, incluido Reddit. Luego interpretó erróneamente la broma de este usuario como una sugerencia genuina.

Si bien la mayoría de los usuarios no tomarían en serio la recomendación del pegamento, cierta información alucinada puede causar un daño real. Los motores de búsqueda de IA y los chatbots han sido sorprendidos repetidamente citando pseudociencias racistas desacreditadas como hechos. El año pasado, Perplexity AI declaró que un oficial de policía en California era culpable de un crimen que no cometió.

Mostrar confianza

Construir sistemas de IA que prioricen la veracidad es un desafío, pero no imposible. Una forma en que los desarrolladores de IA están abordando este problema es diseñar modelos que comuniquen su confianza en sus respuestas. Esto generalmente viene en forma de una puntuación de confianza: un número que indica qué tan probable es que un modelo brinde información precisa. Pero estimar la confianza de un modelo en el contenido que proporciona también es una tarea complicada.

Un enfoque común para hacer esta estimación implica pedirle al modelo que responda repetidamente a una consulta determinada. Si el modelo es confiable, debería generar respuestas similares a la misma consulta. Si no puede responder de manera consistente, es probable que la IA carezca de la información que necesita para responder con precisión. Con el tiempo, los resultados de estas pruebas se convierten en las puntuaciones de confianza de la IA para áreas temáticas específicas.

Otros métodos evalúan la precisión de la IA al incitar y entrenar directamente a los modelos para que indiquen qué tan seguros están de sus respuestas, pero esto no ofrece una verdadera rendición de cuentas. Permitir que una IA evalúe su propia confianza deja espacio para que el sistema se dé a sí mismo una calificación aprobatoria y continúe ofreciendo información falsa o dañina.

Mi laboratorio ha diseñado algoritmos que asignan puntajes de confianza descomponiendo las respuestas de un gran modelo de lenguaje en afirmaciones individuales que se pueden referenciar automáticamente con Wikipedia. Evaluamos la equivalencia semántica entre el resultado del modelo de IA y las entradas de Wikipedia a las que se hace referencia para las afirmaciones. Nuestro método permite que la IA evalúe rápidamente la precisión de todas sus afirmaciones.

Por supuesto, confiar en los artículos de Wikipedia, que suelen ser precisos, pero no siempre, también tiene sus limitaciones.

Publicar puntuaciones de confianza junto con las respuestas de un modelo podría ayudar a las personas a pensar de forma más crítica sobre la veracidad de la información que proporcionan estas herramientas. Un modelo de lenguaje también puede entrenarse para retener información si obtiene una puntuación de confianza que cae por debajo de un umbral establecido. Mi laboratorio también ha demostrado que las puntuaciones de confianza se pueden utilizar para ayudar a los modelos de IA a generar respuestas más precisas.

Límites de la confianza

Todavía queda un largo camino por recorrer para garantizar una IA verdaderamente precisa. La mayoría de estos enfoques suponen que la información necesaria para evaluar correctamente la precisión de una IA se puede encontrar en Wikipedia y otras bases de datos en línea.

Pero cuando la información precisa no es tan fácil de obtener, las estimaciones de confianza pueden ser engañosas. Para tener en cuenta casos como estos, Google ha desarrollado mecanismos especiales para evaluar las declaraciones generadas por la IA. Mi laboratorio ha compilado de manera similar un conjunto de datos de referencia de indicaciones que comúnmente causan alucinaciones.

Pero todos estos enfoques verifican hechos básicos: no existen métodos automatizados para evaluar otras facetas del contenido extenso, como las relaciones de causa y efecto o la capacidad de una IA para razonar sobre un texto compuesto de más de una oración.

El desarrollo de herramientas que mejoren estos elementos de la IA son pasos clave para convertir la tecnología en una fuente de información confiable y evitar los daños que puede causar la desinformación.

Lu Wang es profesora asociada de Ciencias de la Computación e Ingeniería en la Universidad de Michigan.

Este artículo se publicó originalmente en The Conversation. Lee el artículo original aquí.