A medida que se acercaban las elecciones legislativas en Francia este verano, un equipo de investigación decidió contactar a cientos de ciudadanos para entrevistarlos sobre sus opiniones acerca de temas importantes. Sin embargo, el entrevistador que hacía las preguntas no era un investigador humano, sino un chatbot de IA.
Para preparar a ChatGPT para asumir este rol, los investigadores empezaron por indicarle al chatbot de IA que se comportara como lo hacían los profesores en los datos de entrenamiento que había observado. El mensaje específico, según un artículo publicado por los investigadores, fue: “Eres un profesor en una de las principales universidades de investigación del mundo, especializado en métodos de investigación cualitativa con un enfoque en la realización de entrevistas. A continuación, realizarás una entrevista con un participante humano para conocer sus motivaciones y razonamientos sobre su elección de voto durante las elecciones legislativas del 30 de junio de 2024 en Francia, unos días después de la entrevista”.
Mientras tanto, les informaron a los sujetos humanos que un chatbot realizaría la entrevista en línea en lugar de una persona y fueron identificados para participar a través de un sistema llamado Prolific, que se utiliza comúnmente por los investigadores para encontrar participantes para encuestas.
El experimento que cambia las reglas del juego
Una de las preguntas de investigación del proyecto era si los participantes estarían dispuestos a compartir sus opiniones con un bot y si ChatGPT sería capaz de mantenerse en el tema y comportarse de manera lo suficientemente profesional como para obtener respuestas útiles.
El chatbot entrevistador es parte de un experimento realizado por dos profesores de la London School of Economics, quienes sostienen que la IA podría cambiar las reglas del juego cuando se trata de medir la opinión pública en una variedad de campos.
“Realmente podría acelerar el ritmo de la investigación”, dijo Xavier Jaravel, uno de los profesores que lidera el experimento. Señala que la IA ya se está utilizando en las ciencias físicas para automatizar partes del proceso experimental. Por ejemplo, este año los científicos que utilizaron la IA para predecir la forma de las proteínas ganaron el Premio Nobel de Química.
¿La IA va a sustituir humanos en la investigación de opinión pública?
Jaravel espera que los entrevistadores de IA puedan permitir que más investigadores en mayor número de campos recojan las opiniones del público de manera rentable y eficiente que con entrevistadores humanos. Esto podría terminar provocando grandes cambios para los profesores de todo el país, agregando la toma de muestras de la opinión y experiencia pública como parte del plan de acción de muchos más académicos.
Sin embargo, otros investigadores cuestionan si los bots de IA deberían sustituir a los investigadores en la tarea profundamente humana de evaluar las opiniones y sentimientos de las personas.
“Es una perspectiva muy cuantitativa pensar que solo tener más participantes hace automáticamente mejor el estudio, y eso no es necesariamente cierto”, dijo Andrew Gillen, profesor asistente en el programa de ingeniería de primer año en la Universidad Northeastern.
Además, argumentó que, en muchos casos, “las entrevistas en profundidad con un grupo selecto son generalmente más significativas” y que deberían ser realizadas por humanos.
La IA no juzga
En el experimento con votantes franceses y en otro ensayo que utilizó el enfoque para preguntar sobre lo que da sentido a la vida, muchos participantes dijeron en una evaluación posterior a la encuesta que preferían al chatbot cuando se trataba de compartir sus opiniones sobre temas altamente personales.
“La mitad de los encuestados dijo que preferiría hacer la entrevista de nuevo, o hacer una entrevista similar, con una IA”, dijo Jaravel. “Y la razón es que sienten que la IA es una entidad no juzgadora. Que podían compartir libremente sus pensamientos y no serían juzgados. Pensaban que con un humano podrían sentirse juzgados, potencialmente”.
Aproximadamente 15% de los participantes dijo que preferiría que la entrevista la hiciera un humano y alrededor de 35% dijo que no les importaba si el entrevistador era un chatbot o una persona.
Los investigadores también entregaron transcripciones de las entrevistas del chatbot a sociólogos capacitados para verificar la calidad de las entrevistas y los expertos determinaron que el entrevistador de IA era comparable a un “entrevistador experto humano promedio”, según Jaravel. Sin embargo, un artículo sobre su estudio señaló que “las entrevistas dirigidas por IA nunca igualan a los mejores expertos humanos”.
La revelación de las entrevistas
Los investigadores se sienten alentados por los hallazgos e hicieron una serie de entrevistas en su plataforma a disposición de otros investigadores para que la prueben.
Jaravel está de acuerdo en que las entrevistas en profundidad, más típicas en la investigación etnográfica, son mucho más superiores a lo que su sistema de chatbot puede hacer. Pero argumenta que el entrevistador de IA puede recolectar información mucho más rica que los típicos cuestionarios en línea, que son estáticos y se utilizan cuando los investigadores quieren revelar grandes poblaciones. “Así que creemos que lo que podemos hacer con esta herramienta realmente está avanzando ese tipo de investigación porque puedes obtener muchos más detalles”, dijo a EdSurge, una iniciativa de periodismo educativo (y el medio original de publicación de este artículo).
Gillen, el investigador de Northeastern, argumentó que hay algo importante que ningún chatbot podrá hacer, incluso al administrar encuestas, algo que él llama “posicionalidad“. El chatbot de IA no tiene nada en juego y no puede entender qué o por qué hace preguntas y eso en sí mismo cambiará las respuestas, sostuvo. “Estás cambiando la intervención al hacer que sea un bot y no una persona”, agregó.
Traer nuevas voces
Para Jaravel, la esperanza es que este enfoque pueda ayudar a campos que actualmente no piden la opinión del público a empezar a hacerlo.
“En economía, rara vez hablamos con la gente”, dijo, señalando que los investigadores en este campo a menudo recurren a grandes conjuntos de datos de indicadores económicos como la principal fuente de investigación.
El siguiente paso para los investigadores es intentar agregar capacidades de voz a su plataforma, de modo que el bot pueda hacer las preguntas verbalmente en lugar de a través de chat de texto.
¿Qué reveló la investigación con los votantes franceses?
Basado en entrevistas de chatbot con 422 votantes franceses, los investigadores encontraron que los participantes se centraban en temas muy diferentes según su inclinación política. “Los encuestados de izquierda se motivan por el deseo de reducir la desigualdad y promover la transición verde a través de diversas políticas”, concluyeron los investigadores en su artículo.
“En contraste, los encuestados del centro destacan la importancia de asegurar la continuidad de las políticas en curso y la estabilidad económica, es decir, preservar la agenda y el legado del presidente. Finalmente, los votantes de extrema derecha destacan la inmigración (77%), la inseguridad y el crimen (47%) y las políticas a favor de los ciudadanos franceses sobre los extranjeros (30%) como sus principales razones para apoyar.”
Los investigadores argumentaron que los hallazgos “arrojan nueva luz sobre estas cuestiones, ilustrando que nuestra herramienta simple puede desplegarse muy rápido para investigar cambios en el entorno político en tiempo real”.