El aprendizaje con IA se queda corto en comparación con la búsqueda en Google

Desde el lanzamiento de ChatGPT a finales de 2022, millones de personas han comenzado a utilizar grandes modelos de lenguaje para acceder al conocimiento. Y es fácil comprender su atractivo: se hace una pregunta, se obtiene una síntesis precisa y se sigue adelante; la sensación de aprendizaje es de lo más natural.

Sin embargo, un nuevo artículo del que soy coautora ofrece evidencia experimental de que esta facilidad puede tener un costo: cuando las personas dependen de grandes modelos de lenguaje para resumir la información sobre un tema, tienden a desarrollar un conocimiento más superficial sobre el mismo en comparación con el aprendizaje a través de una búsqueda estándar en Google.

El coautor Jin Ho Yun  y yo, ambos profesores de marketing, presentamos este hallazgo en un artículo basado en siete estudios con más de 10,000 participantes. La mayoría de los estudios utilizaron el mismo paradigma básico: se pidió a los participantes que aprendieran sobre un tema —como cultivar un huerto— y se les asignó aleatoriamente a hacerlo mediante una herramienta de aprendizaje automático como ChatGPT o de la manera tradicional, navegando por enlaces con una búsqueda estándar de Google.

No se impusieron restricciones sobre cómo usar las herramientas; podían buscar en Google todo el tiempo que quisieran y seguir consultando ChatGPT si necesitaban más información. Una vez finalizada su investigación, se les pidió que escribieran un consejo a un amigo sobre el tema, basado en lo que habían aprendido.

¿Qué reveló el estudio?

Los datos revelaron un patrón constante: quienes aprendieron sobre un tema a través de un curso de aprendizaje en línea (LLM) en lugar de mediante una búsqueda web sintieron que aprendieron menos, invirtieron menos esfuerzo en redactar sus consejos y, en definitiva, escribieron consejos más breves, menos específicos y más genéricos. A su vez, cuando estos consejos se presentaron a una muestra independiente de lectores, que desconocían la herramienta utilizada para informarse sobre el tema, los consideraron menos informativos, menos útiles y menos propensos a adoptarlos.

Observamos que estas diferencias se mantenían en diversos contextos. Por ejemplo, una posible razón por la que los usuarios de LLM escribieron consejos más breves y genéricos es simplemente que los resultados de LLM les mostraron información menos diversa que los resultados de Google. Para controlar esta posibilidad, realizamos un experimento en el que los participantes vieron un conjunto idéntico de datos en los resultados de sus búsquedas en Google y ChatGPT. Asimismo, en otro experimento, mantuvimos constante la plataforma de búsqueda —Google— y variamos si los participantes aprendían de los resultados estándar de Google o de la función de resumen con IA de Google.

Los resultados confirmaron que, incluso manteniendo constantes los hechos y la plataforma, aprender a partir de respuestas sintetizadas de ChatGPT condujo a un conocimiento más superficial en comparación con recopilar, interpretar y sintetizar información por uno mismo a través de enlaces web estándar.

Por qué es importante

¿Por qué el uso de LLM pareció disminuir el aprendizaje? Uno de los principios más fundamentales del desarrollo de habilidades es que las personas aprenden mejor cuando participan activamente con el material que intentan aprender.

Cuando aprendemos sobre un tema a través de una búsqueda en Google, nos enfrentamos a mucha más “fricción”: debemos navegar por diferentes enlaces web, leer fuentes de información e interpretarlas y sintetizarlas nosotros mismos.

Si bien resulta más desafiante, esta fricción conduce al desarrollo de una representación mental más profunda y original del tema en cuestión. Pero con los LLM, todo este proceso se realiza en nombre del usuario, transformando el aprendizaje de un proceso más activo a uno pasivo.

¿Qué sigue?

Para que quede claro, no creemos que la solución a estos problemas sea evitar el uso de las herramientas de aprendizaje automático (LLM), especialmente dados los innegables beneficios que ofrecen en muchos contextos. Más bien, nuestro mensaje es que las personas simplemente necesitan ser usuarias más inteligentes y estratégicas de las LLM, lo cual comienza por comprender en qué ámbitos las LLM son beneficiosas y en cuáles perjudiciales para sus objetivos.

¿Necesitas una respuesta rápida y objetiva a una pregunta? Puedes usar tu asistente de IA favorito. Pero si tu objetivo es desarrollar un conocimiento profundo y generalizable en un área, depender únicamente de síntesis de LLM no será tan útil.

Como parte de mi investigación sobre la psicología de las nuevas tecnologías y los nuevos medios, me interesa saber si es posible convertir el aprendizaje de la información en un proceso más activo. En otro experimento, pusimos a prueba esta idea haciendo que los participantes interactuaran con un modelo GPT especializado que ofrecía enlaces web en tiempo real junto con sus respuestas sintetizadas. Sin embargo, observamos que, una vez que los participantes recibían un resumen de la información, no se sentían motivados para profundizar en las fuentes originales. El resultado fue que los participantes seguían adquiriendo un conocimiento menos profundo en comparación con quienes utilizaron Google de forma estándar.

¿Cuándo surge el aprendizaje?

Partiendo de esta base, en mi investigación futura planeo estudiar herramientas de IA generativa que introduzcan fricciones saludables en las tareas de aprendizaje; específicamente, examinar qué tipos de restricciones o limitaciones motivan con mayor éxito a los usuarios a aprender activamente más allá de las respuestas fáciles y sintetizadas.

Dichas herramientas parecen especialmente cruciales en la educación secundaria, donde un desafío importante para los educadores es cómo equipar mejor a los estudiantes para que desarrollen habilidades fundamentales de lectura, escritura y matemáticas, preparándolos a la vez para un mundo real donde las habilidades de lectura, escritura y matemáticas probablemente serán parte integral de su vida diaria.

Shiri Melumad es profesora asociada de marketing en la Universidad de Pensilvania.

Este artículo fue publicado originalmente en The Conversation.