Las encuestas en línea podrían haber alcanzado el punto de no retorno de la IA

Hay malas noticias para quienes utilizan encuestas en línea para comprender el comportamiento de las personas en internet: un estudio reciente demostró que ya no podremos determinar si una persona es quien está respondiendo o no, y parece que no hay solución.

Esto significa que todo sondeo en línea podría ser vulnerable a la tergiversación de las verdaderas opiniones de las personas. Esto podría repercutir en cualquier aspecto de la “guerra de la información”, desde los resultados de las encuestas hasta la desinformación y el fraude. Los encuestados no humanos, en conjunto, podrían influir en cualquier aspecto, desde los sabores y el precio de un paquete de chicles hasta algo más perjudicial, como la posibilidad de que alguien reciba beneficios gubernamentales, y cuáles deberían ser.

El problema aquí es doble: 1) que las personas no puedan distinguir entre las respuestas humanas y las de los bots, y 2) en los casos en que la automatización regule la acción basándose en estas respuestas, no habría forma de utilizar dichas encuestas y protegerse contra problemas potencialmente peligrosos como resultado de esta indistinguibilidad.

El estudio de Sean J. Westwood, de Dartmouth, publicado en la revista PNAS de la Academia Nacional de Ciencias, titulado La posible amenaza existencial de los grandes modelos lingüísticos para la investigación de encuestas en línea, afirma demostrar que ya no podemos confiar en que, en la investigación de encuestas, ya no podemos simplemente asumir que una “respuesta coherente es una respuesta humana”. Westwood creó un agente autónomo capaz de producir “respuestas de encuesta de alta calidad que demuestran el razonamiento y la coherencia esperados de las respuestas humanas”.

Para ello, Westwood diseñó un sistema “agnóstico al modelo” diseñado para el razonamiento de propósito general, que se centra en una arquitectura de dos capas: una que actúa como interfaz con la plataforma de encuestas y puede gestionar múltiples tipos de consultas mientras extrae contenido relevante, y otra “capa central” que utiliza un “motor de razonamiento” (como un LLM). Cuando se realiza una encuestas en línea, el software de Westwood carga una “Persona demográfica” que puede almacenar información sobre respuestas anteriores y luego procesar las preguntas para proporcionar una “respuesta contextualmente apropiada”.

Una vez que el “motor de razonamiento” decide una respuesta, la interfaz de la primera capa genera una respuesta humana simulada. El sistema también está “diseñado para incorporar herramientas que permitan eludir medidas antibots como reCAPTCHA”. El sistema de Westwood tiene como objetivo no “replicar perfectamente las distribuciones de la población en conjunto, sino generar respuestas individuales a la encuesta que un investigador razonable consideraría razonables”.

Los resultados de Westwood sugieren que las encuestas digitales pueden o no ser un reflejo fiel de las opiniones de las personas. Es igualmente probable que las encuestas describan lo que un LLM asume como “comportamiento humano”. Además, los humanos o la IA que toman decisiones basadas en esos resultados podrían basarse en las “opiniones” de humanos simulados.

Personas (virtuales)

Crear personas sintéticas no es un concepto nuevo. Las novelas, los medios visuales, las obras de teatro y la publicidad utilizan todo tipo de ideas creativas para representar a diversas personas y contar sus historias. En diseño, el concepto de “Personas” se ha utilizado durante décadas en marketing y diseño de interfaces de usuario como una tendencia para reducir costes y ahorrar tiempo.

Las Personas son composiciones ficticias de personas y se representan mediante categorías como “Mamá futbolista”, “Joe Six-pack”, “Abuela tecnófoba” o “Ejecutivo de negocios”. Además de estar impregnadas de sesgos, las Personas son proyecciones de lo que quienes las crean creen que serían y de los grupos a los que podrían pertenecer.

Las Personas son un problema oculto en diseño y marketing, precisamente porque son composiciones extraídas de personas reales o imaginarias, en lugar de personas reales; los valores que se les atribuyen se construyen a partir de las interpretaciones de otros. Al confiar en Personas en lugar de personas, es imposible adivinar el verdadero contexto de cómo se utiliza realmente un producto o servicio, ya que las Personas son proyectadas por el creador y no son personas reales en situaciones reales.

Por lo tanto, los problemas con el uso de Personas para diseñar productos y servicios a menudo no se identifican hasta mucho después de que estos productos o servicios salgan al mercado y fracasen, o causen otros problemas imprevistos. Esto podría empeorar cuando estas Personas generadas por humanos se reemplacen con Personas ChatBot de IA/LLM, con todos los sesgos que esto conlleva, incluyendo influencias superficiales o alucinaciones que podrían hacer que sus respuestas sean aún más extrañas o potencialmente psicóticas.

Cuantitativo versus cualitativo

Parte del problema principal de no comprender las necesidades de las personas con encuestas comenzó cuando la investigación se decantó por la recopilación de datos estadísticos basada en la computación, también conocidos como métodos cuantitativos, en lugar de consultas contextuales basadas en conversaciones y relaciones sociales con otros, o métodos cualitativos. Con la llegada del big data a internet, se comenzaron a utilizar métodos cuantitativos como encuestas en línea, pruebas A/B y otras técnicas para comprender el comportamiento del cliente/usuario.

Gracias a la rápida compilación de resultados por parte de las máquinas, la investigación cuantitativa parece haberse convertido en un estándar para comprender a las personas.

No es fácil automatizar los métodos cualitativos, y reemplazarlos por métodos cuantitativos puede suponer una pérdida de contexto importante. Dado que ha transcurrido casi una generación con el mundo centrado en el conteo computacional, es fácil olvidarse de los métodos de datos cualitativos —presentes en ciencias sociales como la antropología— que utilizan entrevistas de indagación contextual con personas reales para comprender por qué hacen lo que hacen, en lugar de intentar inferirlo a partir de respuestas numéricas.

La investigación cualitativa puede contextualizar los datos cuantitativos y los métodos que dependen de las máquinas para descifrar el significado. También pueden funcionar al margen de los métodos de big data y se basan en relaciones con personas reales, lo que permite la rendición de cuentas por sus creencias y opiniones. El proceso de hablar con personas reales contextualiza primero ese contenido, lo que conduce a mejores resultados. Los métodos cualitativos se pueden cuantificar y contabilizar, pero los métodos cuantitativos aún no pueden lograrse fácilmente con un contexto verdaderamente amplio.

Una diferencia entre el uso de métodos cualitativos y cuantitativos tiene que ver con la transparencia y la comprensión de la validez de las respuestas de las personas. Con las Personas creadas por humanos, existen suposiciones y lagunas obvias: son pura manipulación y proyección. Pero cuando las personas son creadas por Chatbots/LLM que utilizan un corpus de conocimiento extraído de volúmenes masivos de datos, hay menos maneras de distinguir la realidad de la ficción.

Con los chatbots y los modelos de lenguaje de gran escala, la entidad artificial es al mismo tiempo la creadora de la “persona”, potencialmente la que responde como esa persona y, además, quien interpreta las respuestas de ese falso chatbot —o es interpretada por otro LLM—. Ahí es donde puede volverse peligroso, especialmente cuando los resultados de este tipo de investigación contaminada por “basura” se utilizan para cosas como encuestas políticas o labores de vigilancia policial.

La investigación de Westwood ha demostrado que: “En lugar de depender de reglas frágiles y específicas para cada pregunta, los encuestados sintéticos mantienen una Persona consistente al condicionar las respuestas a un perfil demográfico inicial y una memoria dinámica de respuestas previas. Esto le permite responder a preguntas dispares de forma internamente coherente, generando patrones plausibles y similares a los humanos…”. Puede imitar el contexto, pero no crearlo.

Volviendo a lo básico

Cuando la IA generativa avance hacia la realización de encuestas, actuando como encuestados e interpretándolas, ¿seremos capaces de diferenciarlas de las personas reales?

Un bucle de encuesta completamente automatizado parece ficticio, hasta que vemos cuántas personas ya utilizan chatbots/LLM para automatizar partes del proceso de encuesta, incluso ahora. Alguien podría generar una Persona y usarla para responder encuestas diseñadas por la IA, y luego otra persona usaría un chatbot para acceder a la IA e interpretar los resultados. Crear un bucle completo podría ser terrible: alguien podría usar la IA para convertir las respuestas de la encuesta creadas por el chatbot, respondidas por el chatbot y interpretadas por la IA en algo que impacte a personas reales con necesidades reales en el mundo real, pero que en realidad haya sido diseñado para personas falsas con necesidades falsas en un mundo falso.

La investigación cualitativa es un camino a seguir. Nos permite conocer a personas reales, validar sus respuestas y refinar el contexto mediante métodos que exploran cada respuesta con mayor profundidad. La IA aún no puede realizar este tipo de trabajo, ya que los LLM basan sus respuestas en la coincidencia estadística de palabras, que no está refinada. Los bots que replican respuestas humanas imitarán un tipo de respuesta humana simulada, pero para saber qué piensa la gente real y qué significan las cosas para ellos, las empresas podrían tener que volver a contratar antropólogos, capacitados para usar métodos cualitativos y conectar con personas reales.

Ahora que la IA puede replicar falsamente las respuestas humanas a las encuestas cuantitativas, quienes creen que tanto los métodos cuantitativos como la IA son la respuesta para realizar investigaciones precisas están a punto de aprender una dura lección que, lamentablemente, nos afectará a todos.