Sora incluso está engañando a los detectores humanos de deepfakes

Antes, la inteligencia artificial dejaba pistas útiles de que la imagen que producía no era real. Las generaciones anteriores de esta tecnología podían dotar a una persona de un dedo o incluso de una extremidad adicional. Los dientes podían verse extraños y fuera de lugar, y la piel podía verse excesivamente sonrojada, como en una película de Pixar. Las múltiples dimensiones podían confundir a nuestros modelos, que luchaban por representar el mundo físico con sentido: si pedías la imagen de un salmón nadando en un río, la IA podía mostrarte un filete de salmón crudo flotando en una corriente embravecida.

Claro, estábamos en el valle inquietante. Pero al menos sabíamos que estábamos allí.

Eso ya no es así. Si bien aún existen formas analógicas de detectar que el contenido que vemos fue creado con la ayuda de la IA, las pistas visuales implícitas están desapareciendo cada vez más. El lanzamiento limitado de Sora 2, el último modelo de generación de video de OpenAI, no ha hecho más que acelerar este desarrollo, según afirman a Fast Company expertos de varias empresas de detección de IA.

Esto significa que pronto podríamos depender por completo de herramientas digitales y otras herramientas técnicas para gestionar contenido hecho por IA. Esto tiene consecuencias no solo para los usuarios habituales de internet, sino también para cualquier institución interesada en proteger su imagen o identidad del robo y la apropiación indebida.

“Incluso para analistas como yo, que hemos visto la evolución de esta industria, es realmente difícil, especialmente con las imágenes”, declara Francesco Cavalli, cofundador de una de esas empresas, Sensity AI, a Fast Company. “Las formas, los colores y los humanos son perfectos. Así que, sin la ayuda de una herramienta, ahora es casi imposible para el usuario medio de internet comprender si una imagen, un video o un fragmento de audio está generado por IA o no”.

Las pistas visuales se están desvaneciendo

La buena noticia es que, al menos por ahora, todavía existen algunas señales visuales reveladoras de que el contenido se generó mediante inteligencia artificial. Los investigadores también buscan más. Si bien los dedos adicionales parecen menos comunes, los modelos de generación de imágenes con IA aún tienen dificultades para producir texto con sentido, explica Sofia Rubinson, editora sénior de Reality Check, una publicación dirigida por la empresa de fiabilidad de la información NewsGuard.

¿Recuerdan ese video de vigilancia de conejos saltando en un trampolín que resultó ser creado por IA? Quizás deban preguntarse si los conejos realmente hacen esto, dice Rubinson. “Queremos animar a la gente a pensar de forma más crítica sobre lo que ven en línea, ya que estos visuales están desapareciendo”, añade.

Rubinson afirma que es posible comprobar si una parte de un video ha sido difuminada, lo que podría sugerir que antes había una marca de agua de Sora 2. También podemos comprobar quién lo compartió. Acceder a la página de una cuenta a veces revela un montón de videos similares, una señal casi segura de que se está viendo contenido generado por IA.

Por otro lado, los nombres de usuario no necesariamente nos ayudarán a discernir quién produjo realmente el contenido: como informó Fast Company anteriormente, es relativamente fácil, aunque no siempre posible, obtener un nombre de usuario de Sora 2 asociado con una persona famosa, a pesar de las normas de OpenAI sobre el uso de la imagen de otras personas.

En última instancia, podríamos necesitar familiarizarnos con el estilo y las tendencias individuales de un modelo, argumenta Siwei Lyu, profesor de la Universidad Estatal de Nueva York en Buffalo, que estudia deepfakes. Por ejemplo, el habla generada por Sora 2 puede parecer demasiado rápida. (Algunos lo han denominado “acento de IA”). Aun así, Lyu advierte que estas indicaciones “son sutiles y a menudo pueden pasarse por alto al observarlas de forma casual”.

Y la tecnología mejorará, lo que significa que es poco probable que tales indicios perduren. De hecho, los investigadores afirman que el residuo visible de que la IA participó en la creación de un contenido ya parece estar desapareciendo.

“Los consejos que solíamos dar sobre inconsistencias visuales están desapareciendo, modelo tras modelo”, afirma Emmanuelle Saliba, experiodista que ahora dirige investigaciones en GetReal Security, una empresa de ciberseguridad dedicada a la detección y el estudio de contenido generado y manipulado por IA.

Si bien antes el movimiento físico incoherente indicaba el uso de IA en la creación de una imagen, Sora 2 ha mejorado significativamente la imitación del mundo real, afirma.

En Reality Defender, también una empresa de detección de deepfakes, todos los investigadores de la compañía —la mitad de los cuales tienen doctorados— han sido engañados por contenido producido por las nuevas generaciones de IA. “Desde el lanzamiento de Sora, todos han etiquetado erróneamente un deepfake como real o viceversa”, declara Ben Colman, cofundador y CEO de Reality Defender, a Fast Company. “Si quienes han trabajado en esto durante 5 a 25 años no pueden diferenciar lo real de lo falso, ¿cómo podrán hacerlo los usuarios promedio o quienes utilizan la detección manual?”.

Las etiquetas tampoco nos salvarán. Si bien las empresas han promocionado las marcas de agua como una forma de identificar contenido generado por IA, existen soluciones alternativas sencillas que parecen frustrar estas herramientas.

Por ejemplo, los videos de Sora de OpenAI incluyen una marca de agua visual, pero las herramientas en línea pueden eliminarla. OpenAI, al igual que otras empresas, se ha comprometido con el estándar C2PA creado por la Coalición para la Procedencia y Autenticidad del Contenido. Esta especificación codifica la procedencia o fuente de un contenido en sus metadatos. Sin embargo, la marca de agua se puede eliminar haciendo una captura de pantalla de una imagen creada con la tecnología de OpenAI. Incluso arrastrar y soltar la imagen, en algunos casos, puede eliminar la marca de agua, según demuestran las pruebas de Fast Company con la herramienta.

OpenAI reconoce esta falla, pero un portavoz afirmó que no pudieron reproducir el problema de arrastrar y soltar. Cuando Fast Company cuestionó esta vulnerabilidad a Adobe, que opera la herramienta de verificación C2PA, la empresa afirmó que el problema era responsabilidad de OpenAI.

Actualización de metodologías

Por supuesto, las empresas con las que habló Fast Company están interesadas en vender diversos productos diseñados para protegernos de la avalancha de deepfakes. Algunos prevén que la detección de contenido con IA podría seguir el camino del análisis de virus e integrarse en innumerables herramientas en línea y en el entorno laboral. Otros sugieren que sus plataformas serán necesarias porque el auge de herramientas como Sora 2 dejará obsoleta la verificación basada en videollamadas. Algunos ejecutivos creen que sus productos contribuirán a proteger a las marcas del contenido vergonzoso generado por IA.

En respuesta al lanzamiento de la aplicación Sora, algunas de estas empresas afirman estar observando un creciente interés. Aun así, al igual que los humanos, incluso estas empresas necesitan actualizar sus metodologías cuando se lanzan nuevos modelos.

“Aunque el humano no pueda detectar nada desde el punto de vista tecnológico, siempre hay algo que investigar”, afirma Cavalli de Sensity. Esto a menudo requiere un enfoque de métodos mixtos, que tenga en cuenta diversos factores, como el estudio de los metadatos de un archivo y las discrepancias en el ruido de fondo. Los modelos de detección de Sensity también se reentrenan y perfeccionan cuando se implementan nuevos modelos, añade Cavalli.

Pero incluso esto no siempre es perfecto. Lyu, de SUNY Buffalo, afirma que, si bien los sistemas de detección que su equipo ha desarrollado aún funcionan con vídeos producidos con Sora 2, presentan una precisión menor en comparación con su rendimiento en modelos de IA generativa. Y eso después de algunos ajustes.

Hany Farid, profesor de UC Berkeley, cofundador de GetReal Security y director científico, afirma que las técnicas forenses y de datos de la empresa han experimentado una generalización “mejor”, aunque “no perfecta”, en los modelos más recientes. En el caso de Sora 2, algunas de las técnicas de vídeo de la empresa se han mantenido eficaces, “mientras que otras han requerido ajustes”, afirma, y ​​añade que los modelos de detección de audio siguen funcionando de forma robusta.

Esto supone un cambio con respecto a las eras anteriores de la IA generativa, cuando las técnicas forenses debían actualizarse continuamente para aplicarse a los modelos más recientes. Para nuestras técnicas forenses digitales, esto requirió comprender los artefactos específicos introducidos por los modelos de IA y luego desarrollar técnicas para detectarlos. Para nuestras técnicas más basadas en datos, esto requirió generar contenido a partir del modelo más reciente y reentrenar nuestros modelos.

No está claro si estos métodos de detección de deepfakes seguirán siendo válidos. Mientras tanto, parece que nos dirigimos cada vez más hacia un mundo inundado de IA, pero que aún construye sus diques.