La IA que protege a tu empresa también puede ser engañada

Un sistema de inteligencia artificial puede revisar un archivo sospechoso y encontrarse con algo que parece una explicación: este código es seguro, no hace falta investigarlo. Para una persona, la frase sería parte del material que debe examinar. Para un modelo vulnerable, puede convertirse en una orden. Esa inyección de instrucciones abre un problema incómodo para las empresas que empiezan a delegar tareas de seguridad: el contenido bajo investigación también puede intentar dirigir al investigador.

Bert Milan, vicepresidente para Latinoamérica de Cloudflare, plantea ese riesgo en un análisis compartido con Fast Company México. Su advertencia apunta a la inyección indirecta de instrucciones, una técnica que aprovecha los textos que consume un sistema para desviar su comportamiento. El interés empresarial está en la frontera entre leer información y concederle autoridad.

Inyección de instrucciones: cuando el archivo intenta dar órdenes

La clasificación de riesgos de OWASP distingue las instrucciones que llegan directamente de un usuario de aquellas que aparecen dentro de fuentes externas, como archivos o sitios web. En el segundo caso, la persona puede pedir una tarea legítima y el material consultado introducir una instrucción ajena. El problema no exige que el usuario decida engañar al sistema.

Para una compañía, esa diferencia amplía las preguntas de seguridad. Ya no alcanza con revisar quién inició una consulta: también importa de dónde proviene lo que la IA lee y qué permisos conserva después de leerlo. Una solicitud de resumen y una orden para modificar un registro pueden convivir en el mismo flujo de trabajo, aunque sólo la primera haya sido autorizada.

La consecuencia depende del diseño. Un asistente limitado a redactar un borrador tiene un alcance distinto al de uno conectado con correo, bases de datos y herramientas operativas. El riesgo crece cuando la empresa transforma una respuesta del modelo en una acción sin una comprobación adicional.

Lo que encontró Cloudflare y lo que falta demostrar

En su investigación sobre auditores de seguridad con IA, Cloudforce One examinó 100 programas Workers previamente identificados como maliciosos o abusivos. El equipo probó siete modelos mediante 18,400 solicitudes a interfaces de programación. Cuando los comentarios engañosos ocupaban menos de 1% del archivo, la detección promedio bajó de 67.3% a 53.3%.

El estudio también encontró dificultades para identificar instrucciones maliciosas enterradas en grandes volúmenes de código legítimo. Sin embargo, sus resultados tienen límites: utilizó inyecciones sintéticas y redujo el contenido de 47 archivos para ajustarlo a la capacidad de los modelos. Es una prueba controlada, no una medición de todas las empresas ni de todos los productos de seguridad disponibles.

La distinción importa al comprar tecnología. Un porcentaje obtenido en un ensayo ayuda a identificar una debilidad; no permite calcular, por sí solo, la probabilidad de que una empresa mexicana sufra un incidente. Tampoco demuestra que cualquier modelo falle de la misma manera. Convertirlo en una promesa comercial, a favor o en contra de la IA, borraría precisamente el contexto que vuelve útil al hallazgo.

La decisión empresarial está en los permisos

OWASP propone reducir privilegios, separar el contenido externo de las instrucciones confiables, validar las salidas y exigir intervención humana en operaciones de alto riesgo. También recomienda pruebas adversarias. Estas medidas buscan limitar el daño posible: reconocer que un modelo puede equivocarse obliga a diseñar controles alrededor de él.

En una organización, eso se traduce en decisiones concretas. ¿El asistente necesita consultar todos los expedientes o sólo una carpeta? ¿Puede preparar un correo o también enviarlo? ¿Quién revisa una recomendación antes de que cambie el estado de una alerta? Las respuestas determinan cuánto poder se le entrega a una interpretación automatizada.

La discusión conecta con la necesidad de datos confiables para la IA empresarial: ordenar información y establecer accesos forma parte del producto, aunque resulte menos vistoso que una demostración. Para los equipos mexicanos que integran asistentes a procesos existentes, ese trabajo requiere que tecnología y responsables de negocio acuerden límites desde el inicio.

También conviene examinar qué ocurre cuando la herramienta no sabe responder. Si una salida incompleta termina interpretándose como autorización para continuar, el flujo convierte la incertidumbre en permiso. La empresa necesita decidir de antemano cuándo detener una tarea, conservar evidencia y pedir revisión.

El análisis de Milan abre así una conversación más amplia que la de un nuevo ataque. Automatizar la vigilancia también obliga a vigilar la automatización. La pregunta útil para un director no es si su proveedor incorporó IA, sino qué controles seguirían funcionando el día en que esa IA interpretara mal un archivo.