Cómo los científicos descubrieron que la IA escribía los artículos de sus colegas

Un nuevo estudio masivo analizó más de un millón de artículos científicos en busca de indicios de inteligencia artificial y los resultados fueron contundentes: la IA está en todas partes.

El estudio, publicado esta semana en la revista Nature Human Behaviour, analizó preprints y artículos publicados entre 2020 y 2024, buscando algunos de los rastros característicos que dejan las herramientas generadas por IA.

Si bien algunos autores que usan IA de forma engañosa pueden cometer errores y dejar pistas obvias en el texto (fragmentos de una indicación o frases llamativas como “regenerar respuesta”, por ejemplo), con el tiempo se han vuelto más astutos y sutiles.

En el estudio, los investigadores crearon un modelo estadístico de frecuencia de palabras utilizando fragmentos de resúmenes e introducciones escritos antes de la llegada de ChatGPT y luego los introdujeron en un amplio modelo de lenguaje. Al comparar los textos, los investigadores encontraron patrones ocultos en el texto escrito por IA, incluida una alta frecuencia de palabras específicas como “fundamental”, “intrincado” y “exhibición”, que no son comunes en los escritos científicos escritos por humanos.

Algunas áreas de investigación dependen de la IA, otras no

Los autores encontraron un uso generalizado de modelos lingüísticos extensos en todos los temas de investigación, pero algunos campos parecían depender de la IA mucho más que otros. En los resúmenes de ciencias de la computación, se estima que 22.5% de las oraciones mostraban evidencia del uso de IA, en comparación con 9.8% de los artículos de física y 7.8 % de los de matemáticas.

“Observamos los mayores aumentos en las áreas más cercanas a la IA”, afirmó James Zou, coautor y biólogo computacional de Stanford. Los artículos más breves y los artículos en campos de investigación con alta demanda mostraron más indicios de haber sido escritos parcialmente con IA.

Muchas revistas académicas han añadido normas que exigen a los autores revelar el uso de herramientas de IA generativa como ChatGPT. Revistas destacadas, como Science y Nature, declaran explícitamente que la IA no puede redactar un artículo, pero sí puede utilizarse para procesos menores como la edición y la gramática. En algunas revistas, las indicaciones de IA utilizadas en la elaboración de un artículo deben detallarse en profundidad en la sección de métodos del artículo.

Si la amenaza de introducir alucinaciones en un artículo no fuera suficiente disuasorio, los autores que intenten usar IA de forma sigilosa corren el riesgo de ser denunciados por bases de datos dedicadas a documentar transgresiones de la IA en la investigación.

“Las máquinas desempeñan un papel importante, pero como herramientas para quienes plantean hipótesis, diseñan experimentos y dan sentido a los resultados”, escribió Holden Thorp, editor jefe de Science, en una carta sobre el uso de la IA en la investigación. “En última instancia, el producto debe provenir de la maravillosa computadora que llevamos dentro y ser expresado por ella”.