Por qué la falta de gobernanza perjudicará a las empresas que utilizan IA agéntica

Las empresas están actuando con rapidez para adoptar la IA agéntica (sistemas de inteligencia artificial que funcionan sin supervisión humana), pero han sido mucho más lentas a la hora de implementar una gobernanza que los supervise, según una nueva encuesta. Esta discrepancia es una fuente importante de riesgo en la adopción de la IA. En mi opinión, también representa una oportunidad de negocio.

Soy profesor de sistemas de información de gestión en la Facultad de Negocios LeBow de la Universidad de Drexel, que recientemente encuestó a más de 500 profesionales de datos a través de su Centro de IA Aplicada y Análisis de Negocios. Descubrimos que 41% de las organizaciones utilizan IA agéntica en sus operaciones diarias. No se trata solo de proyectos piloto o pruebas puntuales. Forman parte de los flujos de trabajo habituales.

Al mismo tiempo, la gobernanza está rezagada. Solo 27% de las organizaciones afirma que sus marcos de gobernanza son lo suficientemente maduros como para supervisar y gestionar estos sistemas de forma eficaz.

En este contexto, la gobernanza no se trata de regulación ni de normas innecesarias. Significa contar con políticas y prácticas que permitan a las personas influir claramente en el funcionamiento de los sistemas autónomos, incluyendo quién es responsable de las decisiones, cómo se controla el comportamiento y cuándo deben intervenir los humanos. Esta discrepancia puede convertirse en un problema cuando los sistemas autónomos actúan en situaciones reales antes de que nadie pueda intervenir.

Por ejemplo, durante un reciente apagón en San Francisco, los robotaxis autónomos se atascaron en intersecciones, bloqueando vehículos de emergencia y confundiendo a otros conductores. La situación demostró que incluso cuando los sistemas autónomos se comportan “según lo previsto”, las condiciones inesperadas pueden provocar resultados indeseables.

Esto plantea una gran pregunta: cuando algo falla con la IA, ¿quién es responsable y quién puede intervenir?

Por qué es importante la gobernanza

Cuando los sistemas de IA actúan por sí solos, la responsabilidad ya no recae donde las organizaciones esperan que recaiga. Se siguen tomando decisiones, pero la propiedad es más difícil de rastrear. Por ejemplo, en los servicios financieros, los sistemas de detección de fraude actúan cada vez más en tiempo real para bloquear actividades sospechosas antes de que un humano revise el caso. Los clientes a menudo solo se enteran cuando su tarjeta es rechazada.

Entonces, ¿qué pasa si un sistema de IA rechaza su tarjeta por error? En esa situación, el problema no radica en la tecnología en sí (que funciona como fue diseñada), sino en la rendición de cuentas. Las investigaciones sobre la gobernanza humana-IA muestran que surgen problemas cuando las organizaciones no definen claramente cómo deben colaborar las personas y los sistemas autónomos. Esta falta de claridad dificulta saber quién es responsable y cuándo debe intervenir.

Sin una gobernanza diseñada para la autonomía, los pequeños problemas pueden acumularse silenciosamente. La supervisión se vuelve esporádica y la confianza se debilita, no porque los sistemas fallen directamente, sino porque a las personas les cuesta explicar o respaldar lo que hacen.

Cuando los humanos intervienen demasiado tarde

En muchas organizaciones, los humanos técnicamente están “al tanto”, pero solo después de que los sistemas autónomos ya hayan actuado. Las personas tienden a involucrarse en cuanto un problema se hace visible: cuando un precio parece incorrecto, se detecta una transacción o un cliente se queja. Para entonces, el sistema ya ha tomado una decisión y la revisión humana se vuelve correctiva en lugar de supervisora.

La intervención tardía puede limitar las consecuencias de las decisiones individuales, pero rara vez aclara quién es responsable. Los resultados pueden corregirse, pero la responsabilidad sigue sin estar clara.

Directrices recientes muestran que cuando la autoridad no está clara, la supervisión humana se vuelve informal e inconsistente. El problema no es la intervención humana, sino la sincronización. Sin una gobernanza diseñada de antemano, las personas actúan como una válvula de escape en lugar de como responsables de la toma de decisiones.

Cómo la gobernanza determina quién avanza

La IA agéntica suele ofrecer resultados rápidos y tempranos, especialmente cuando las tareas se automatizan por primera vez. Nuestra encuesta reveló que muchas empresas perciben estos beneficios. Sin embargo, a medida que los sistemas autónomos crecen, las organizaciones suelen añadir comprobaciones manuales y pasos de aprobación para gestionar el riesgo.

Con el tiempo, lo que antes era sencillo se vuelve cada vez más complicado. La toma de decisiones se ralentiza, las soluciones alternativas aumentan y los beneficios de la automatización se desvanecen. Esto no ocurre porque la tecnología deje de funcionar, sino porque las personas nunca confían plenamente en los sistemas autónomos.

Esta ralentización no tiene por qué ocurrir. Nuestra encuesta muestra una clara diferencia: muchas organizaciones ven beneficios tempranos de la IA autónoma, pero aquellas con una gobernanza más sólida tienen muchas más probabilidades de convertir esos beneficios en resultados a largo plazo, como una mayor eficiencia y un crecimiento de los ingresos. La diferencia clave no es la ambición ni las habilidades técnicas, sino la preparación.

Una buena gobernanza no limita la autonomía. Lo hace viable al aclarar quién toma las decisiones, cómo se supervisa el funcionamiento de los sistemas y cuándo deben intervenir las personas. La guía internacional de la OCDE (Organización para la Cooperación y el Desarrollo Económicos) enfatiza este punto: la rendición de cuentas y la supervisión humana deben integrarse en los sistemas de IA desde el principio, no añadirse posteriormente.

En lugar de frenar la innovación, la gobernanza genera la confianza que las organizaciones necesitan para ampliar su autonomía en lugar de reducirla discretamente.

La próxima ventaja es una gobernanza más inteligente

La próxima ventaja competitiva en IA no provendrá de una adopción más rápida, sino de una gobernanza más inteligente. A medida que los sistemas autónomos asuman mayor responsabilidad, el éxito corresponderá a las organizaciones que definan claramente la propiedad, la supervisión y la intervención desde el principio.

En la era de la IA con agentes, la confianza recaerá en las organizaciones que mejor gobiernen, no solo en las que adopten primero.

Murugan Anandarajan es profesor de ciencias de la decisión y sistemas de información de gestión en la Universidad de Drexel.

Este artículo se retoma de The Conversation bajo una licencia Creative Commons. Lee el artículo original.