La IA necesita sus propios investigadores de accidentes

Los modelos de inteligencia artificial son cada vez más capaces de actuar por su cuenta. Cuando algo sale mal, surge una pregunta incómoda: ¿deberían las mismas empresas que los desarrollan investigar sus propios incidentes?

La semana pasada fue nefasta para los sistemas de IA. y reforzó una pregunta que empieza a cobrar fuerza: ¿necesitamos investigadores de accidentes de IA independientes? OpenAI reveló seis casos en los que sus modelos de inteligencia artificial se comportaron de forma inesperada. Uno de ellos buscó en repositorios públicos una clave de interfaz de programación de aplicaciones (API) expuesta y la utilizó sin autorización. Otro subió un archivo a internet para poder citarlo. En algunos casos, incluso se incluyeron instrucciones en los resúmenes de los modelos para ocultar errores a los usuarios.

Posteriormente, The Wall Street Journal reveló que el modelo Gemini de Google había accedido sin autorización a los sistemas informáticos de tres empresas durante pruebas de ciberseguridad realizadas en mayo. El modelo encontró información pública, adivinó credenciales y utilizó claves expuestas en repositorios públicos para acceder a sistemas que creía que formaban parte de la prueba.

Ambos incidentes, sumados a muchos otros en los que los sistemas de IA han sobrepasado los límites de sus pruebas, son señales de alerta que se encienden en el tablero. Pero la forma en que nos enteramos de ellos también es preocupante. Invariablemente, la empresa que desarrolló el sistema es la que decide revelar lo sucedido, determinar su gravedad y elegir el momento en que nos enteramos.

¿Por qué necesitamos investigadores de accidentes de IA?

Esto ha llevado a algunos a preguntarse si necesitamos un enfoque alternativo. Más de 100 expertos en IA firmaron una carta abierta la semana pasada en la que solicitan evaluadores de seguridad independientes que supervisen los principales laboratorios de IA. La discusión cobra mayor importancia conforme los agentes de IA adquieren mayor autonomía y comienzan a realizar acciones en nombre de personas y organizaciones.

Una posible solución sería inspirarse en la industria aeronáutica, donde las aeronaves se someten a pruebas antes de volar y, cuando ocurre un accidente grave, intervienen investigadores independientes. Bajo ese modelo, los investigadores de accidentes de IA podrían analizar determinados incidentes sin depender exclusivamente de la empresa responsable del sistema.

“Al menos en algunas categorías de incidentes, debería haber una investigación independiente”, afirma Michael Chatzipanagiotis, profesor adjunto de derecho privado en la Universidad de Chipre, quien ha estudiado cómo se podría aplicar a la IA el sistema de informes de incidentes propio de la aviación.

En la actualidad, la regulación de la IA suele mezclar dos funciones distintas, según Chatzipanagiotis: informar al mundo de un suceso e investigar sus causas. Esta última tarea suele recaer en un pequeño grupo de organizaciones vinculadas al sector. Y a medida que los sistemas de IA adquieren la capacidad de navegar por internet, utilizar herramientas y actuar con escasa supervisión humana, las empresas siguen enfrentándose a posibles responsabilidades legales y daños a su reputación al divulgar problemas. Exigirles que investiguen por sí mismas les proporciona buenas razones para presentar lo sucedido de la forma más favorable posible.

El debate conecta con una cuestión cada vez más presente en el desarrollo de modelos avanzados de IA: quién debe tener acceso a ellos antes de su lanzamiento y qué tan independientes deben ser las pruebas de seguridad.

La IA también necesita una “caja negra”

Marius Hobbhahn, director ejecutivo y cofundador de Apollo Research, organización dedicada a la seguridad de la IA, considera que un grupo de investigación independiente sería útil. Sin embargo, opina que aún estamos lejos de lograrlo. “En la situación actual, un evaluador externo no tendría suficiente acceso”, afirma. “Necesitamos alcanzar un nivel de total transparencia para el investigador; de lo contrario, no podremos realizar una evaluación adecuada”.

Hobbhahn afirma que los investigadores de accidentes de IA necesitarían los registros de entrenamiento junto con los registros del incidente en sí: transcripciones, cronogramas, los pesos del modelo utilizados, el clúster informático involucrado y las medidas de seguridad que se activaron, fallaron o no hicieron nada; algo equivalente a la caja negra de la aviación.

Actualmente, incluso los equipos especializados en pruebas de estrés para detectar riesgos de IA dependen de distintos niveles de acceso a los modelos, la infraestructura y los sistemas que intentan evaluar. Las pruebas de IA también tienen una ventaja sobre las investigaciones aeronáuticas: los investigadores pueden recrear las mismas circunstancias para ver si el comportamiento se repite. Según Hobbhahn, esto puede ayudar a determinar si la acción fue un hecho aislado o algo inherente al funcionamiento del sistema de IA.

La evaluación independiente empieza a tomar forma

El impulso a favor de la evaluación independiente está en auge. Esta semana se realizó un importante anuncio durante la Asamblea General de la ONU.

El lunes, Rumman Chowdhury, quien fue enviada científica de Estados Unidos para inteligencia artificial durante la administración Biden, lanzó la Fundación para la Evaluación Independiente de la IA (IAEF). El objetivo es profesionalizar la comunidad de evaluadores independientes de IA, convirtiendo la evaluación independiente en una profesión viable y, al mismo tiempo, mejorando sus estándares.

El objetivo es también ayudar a subsanar las deficiencias en las verificaciones de IA tras la implementación de los modelos. “Actualmente, ese ciclo no se cierra”, afirma Chowdhury. Una empresa de IA puede revelar un incidente, pero “una vez anunciado, la información se diluye y nadie la detecta”, explica.

Su esperanza es que evaluadores independientes puedan colaborar con los reguladores y los institutos de seguridad de la IA en las pruebas previas a la implementación, las pruebas continuas a medida que los modelos evolucionan y la investigación posterior a los incidentes. La necesidad de este tipo de supervisión también aparece en el llamado problema de alineación de la IA: cómo garantizar que sistemas cada vez más capaces continúen actuando dentro de los objetivos y límites establecidos por sus desarrolladores.

La fundación está trabajando para construir la infraestructura necesaria para lograrlo. Parte de su financiación se destinará a crear un entorno de evaluación de acceso abierto que reúna los puntos de referencia, las herramientas de prueba y los evaluadores existentes. El resto se destinará a formación, becas y financiación de evaluaciones de modelos.

Convertir la evaluación de IA en una profesión

Chowdhury desea que la evaluación independiente se convierta en una profesión consolidada, en lugar de una práctica ocasional realizada por académicos o investigadores con acceso privilegiado a empresas de IA La IAEF también busca separar la evaluación de la validación. En lugar de limitarse a preguntar qué resultados arrojó una prueba, también se preguntará si el evaluador realizó la prueba correcta y formuló las preguntas adecuadas desde el principio.

Gabriella Waters, quien colabora con IAEF en la validación de la iniciativa educativa de la fundación a través del Centro para la IA Responsable, sostiene que las investigaciones deben ir más allá de los fallos técnicos y abordar los problemas reales que surgen durante su uso. “¿Por qué la evaluación no forma parte del desarrollo de la IA?”, pregunta Waters. Señala que, dado que los modelos evolucionan constantemente, su evaluación también debe ser un proceso continuo.

Nadie sugiere que la IA deba convertirse, mañana mismo, en una copia exacta de la Junta Nacional de Seguridad del Transporte de Estados Unidos o de la Subdivisión de Investigación de Accidentes Aéreos de Gran Bretaña. Chatzipanagiotis, profesor de la Universidad de Chipre, advierte que el sistema de aviación es el resultado de décadas de trabajo en el sector y de un nivel de consenso internacional que todavía no existe para la IA.

Crear una comunidad profesional de investigadores de accidentes de IA no resolvería por sí sola todos los riesgos asociados con estos sistemas, pero permitiría establecer procedimientos más claros cuando algo salga mal.

Sin embargo, el enfoque improvisado y a posteriori ante los principales incidentes de IA hasta ahora no es suficiente. “Normalmente, tenemos situaciones de riesgo, tenemos señales de advertencia que, si las ignoramos, nos acarrearán consecuencias negativas más adelante”, afirma Chatzipanagiotis.