Detectar texto generado por IA es difícil, incluso para la IA

Las personas y las instituciones se enfrentan a las consecuencias de los textos generados por IA. Los profesores quieren saber si el trabajo de los estudiantes refleja su propia comprensión; los consumidores quieren saber si un anuncio fue escrito por un humano o por una máquina.

Establecer reglas para regular el uso de contenido generado por inteligencia artificial es relativamente sencillo. Su aplicación depende de algo mucho más complejo: detectar con fiabilidad si un texto fue generado por IA.

Algunos estudios han investigado si los humanos pueden detectar textos generados por IA. Por ejemplo, se ha demostrado que quienes utilizan con frecuencia herramientas de escritura con IA detectan con precisión textos generados por IA. Un panel de evaluadores humanos puede incluso superar a las herramientas automatizadas en un entorno controlado. Sin embargo, esta experiencia no está muy extendida y el juicio individual puede ser inconsistente. Por lo tanto, las instituciones que necesitan consistencia a gran escala recurren a detectores de texto automatizados con IA.

El problema de la detección de texto generado con IA

El flujo de trabajo básico detrás de la detección de texto generado con IA es fácil de describir. Se comienza con un texto cuyo origen se desea determinar. A continuación, se aplica una herramienta de detección, a menudo un sistema de IA, que analiza el texto y genera una puntuación, generalmente expresada como probabilidad, que indica que tan probable es que el texto haya sido generado por IA. Se utiliza esta puntuación para fundamentar decisiones posteriores, como imponer una sanción por infringir una norma.

Sin embargo, esta simple descripción esconde una gran complejidad. Omite una serie de suposiciones previas que deben explicitarse. ¿Sabe qué herramientas de IA podrían haberse utilizado plausiblemente para generar el texto? ¿Qué tipo de acceso tiene a estas herramientas? ¿Puedes ejecutarlas tu mismo o inspeccionar su funcionamiento interno? ¿Cuánto texto tiene? ¿Dispone de un solo texto o de una colección de escritos recopilados a lo largo del tiempo? Lo que las herramientas de detección de IA pueden y no pueden decirte depende fundamentalmente de las respuestas a preguntas como estas.

Hay un detalle adicional especialmente importante: ¿El sistema de IA que generó el texto incorporó deliberadamente marcadores para facilitar la detección posterior?

Estos indicadores se conocen como marcas de agua. El texto con marca de agua parece texto normal, pero las marcas están incrustadas de forma sutil y ocultas a simple vista. Alguien con la clave correcta puede comprobar posteriormente la presencia de estas marcas y verificar que el texto proviene de una fuente generada por IA con marca de agua. Sin embargo, este enfoque depende de la colaboración de los proveedores de IA y no siempre está disponible.

Cómo funcionan las herramientas de detección de texto escrito con IA

Un enfoque obvio es utilizar la propia IA para detectar texto escrito por IA. La idea es sencilla. Se empieza recopilando un amplio corpus (es decir, una colección de textos) de ejemplos etiquetados como escritos por humanos o generados por IA, y luego se entrena un modelo para distinguir entre ambos. En efecto, la detección de texto con IA se trata como un problema de clasificación estándar, similar en esencia al filtrado de spam. Una vez entrenado, el detector examina el texto nuevo y predice si se asemeja más a los ejemplos generados por IA o a los escritos por humanos que ha visto anteriormente.

El enfoque del detector aprendido puede funcionar incluso si se sabe poco sobre qué herramientas de IA podrían haber generado el texto. El requisito principal es que el corpus de entrenamiento sea lo suficientemente diverso como para incluir resultados de una amplia gama de sistemas de IA.

Pero si tiene acceso a las herramientas de IA que le interesan, es posible un enfoque diferente. Esta segunda estrategia no se basa en la recopilación de grandes conjuntos de datos etiquetados ni en el entrenamiento de un detector independiente. En su lugar, busca señales estadísticas en el texto, a menudo relacionadas con cómo modelos de IA específicos generan el lenguaje, para evaluar si es probable que el texto sea generado por IA. Por ejemplo, algunos métodos examinan la probabilidad que un modelo de IA asigna a un fragmento de texto. Si el modelo asigna una probabilidad inusualmente alta a la secuencia exacta de palabras, esto puede indicar que el texto fue, de hecho, generado por ese modelo.

Finalmente, en el caso del texto generado por un sistema de IA que incorpora una marca de agua, el problema pasa de la detección a la verificación. Mediante una clave secreta proporcionada por el proveedor de IA, una herramienta de verificación puede evaluar si el texto es consistente con haber sido generado por un sistema con marca de agua. Este enfoque se basa en información que no está disponible únicamente en el texto, en lugar de inferencias extraídas del propio texto.

Limitaciones de las herramientas de detección

Cada familia de herramientas presenta sus propias limitaciones, lo que dificulta determinar un ganador claro. Los detectores basados ​​en aprendizaje, por ejemplo, son sensibles a la similitud del texto nuevo con los datos con los que se entrenaron. Su precisión disminuye cuando el texto difiere sustancialmente del corpus de entrenamiento, que puede quedar obsoleto rápidamente con el lanzamiento de nuevos modelos de IA. La selección continua de datos nuevos y el reentrenamiento de los detectores es costoso, y estos inevitablemente se quedan atrás de los sistemas que deben identificar.

Las pruebas estadísticas se enfrentan a un conjunto diferente de restricciones. Muchas se basan en suposiciones sobre cómo los modelos de IA específicos generan texto o en el acceso a las distribuciones de probabilidad de esos modelos. Cuando los modelos son propietarios, se actualizan con frecuencia o simplemente son desconocidos, estas suposiciones se rompen. Como resultado, métodos que funcionan bien en entornos controlados pueden volverse poco fiables o inaplicables en el mundo real.

La marca de agua traslada el problema de la detección a la verificación, pero introduce sus propias dependencias. Se basa en la cooperación de los proveedores de IA y se aplica únicamente al texto generado con la marca de agua habilitada.

En términos más generales, la detección de texto mediante IA forma parte de una creciente carrera armamentística. Las herramientas de detección deben estar disponibles públicamente para ser útiles, pero esa misma transparencia facilita la evasión. A medida que los generadores de texto con IA se vuelven más capaces y las técnicas de evasión más sofisticadas, es poco probable que los detectores adquieran una ventaja duradera.

La dura realidad

El problema de la detección de texto mediante IA es fácil de plantear, pero difícil de resolver de forma fiable. Las instituciones con normas que rigen el uso de textos generados por IA no pueden depender únicamente de las herramientas de detección para su aplicación.

A medida que la sociedad se adapta a la IA generativa, es probable que refinemos las normas sobre el uso aceptable de textos generados por IA y mejoremos las técnicas de detección. Pero, en última instancia, tendremos que aprender a vivir con el hecho de que estas herramientas nunca serán perfectas.

Ambuj Tewari es profesor de estadística en la Universidad de Michigan.

Este artículo se retoma de The Conversation bajo una licencia Creative Commons. Lee el artículo original.