La IA en salud entra en una nueva era de rendición de cuentas

Hace casi 10 años, el doctor Ruben Amarasingham, médico y científico de datos, fundó Pieces Technologies en Dallas con un objetivo claro: utilizar la inteligencia artificial para simplificar el trabajo clínico, no para complicarlo. En una época en la que gran parte de la IA en el ámbito de la salud se centraba en la predicción y la automatización, Pieces se concentró en algo más difícil de cuantificar, pero de mayor trascendencia: cómo piensan, documentan y toman decisiones los profesionales sanitarios dentro de los ajetreados flujos de trabajo hospitalarios.

Este enfoque ayudó a Pieces a consolidarse entre los sistemas de salud que buscaban una IA que pudiera ayudar con la documentación, la coordinación y la toma de decisiones sin interrumpir la atención médica. Pero a medida que los hospitales empezaron a depender más de la IA para el diagnóstico, el triaje y las operaciones diarias, las expectativas depositadas en estas herramientas cambiaron. Ya no bastaba con que la IA impresionara o avanzara con rapidez. Tenía que ser fiable bajo presión clínica real.

Pieces no se propuso convertirse en un caso de estudio sobre la rendición de cuentas de la IA en el ámbito sanitario. Pero en los últimos dos años, eso es prácticamente lo que se ha convertido. En 2024, una investigación regulatoria de la Fiscalía General de Texas sobre la precisión y seguridad de sus sistemas obligó a la empresa a examinar el comportamiento de sus modelos en situaciones reales, la claridad con la que se podía explicar su razonamiento y la rapidez con la que se podían identificar y corregir los problemas.

En lugar de dar marcha atrás, la empresa reexaminó sus modelos, prácticas de documentación y salvaguardas. Estos esfuerzos se convirtieron posteriormente en un elemento clave para su adquisición por Smarter Technologies, una plataforma de automatización sanitaria respaldada por capital privado, formada a principios de este año mediante la fusión de SmarterDx, Thoughtful.ai y Access Healthcare, en septiembre de 2025. El precio de la compra no se reveló.

La trayectoria de Pieces captura una verdad decisiva sobre la IA sanitaria actual: la tecnología ya no se juzga solo por su ambición, sino también por su capacidad para resistir el escrutinio, explicarse bajo presión, ganarse la confianza de los médicos y operar de forma segura en entornos donde el costo del error se mide en resultados humanos.

De la promesa a la acción

La IA llegó a la salud con grandes promesas. Esto aliviaría la carga de trabajo de los médicos, agilizaría las decisiones en emergencias y reduciría la complejidad de la atención médica moderna. Algunas de estas promesas se materializaron pronto. Pero a medida que se extendió su adopción, los hospitales comenzaron a ver las limitaciones de sistemas que eran impresionantes en teoría, pero frágiles en la práctica.

A principios de 2025, la Administración de Alimentos y Medicamentos de Estados Unidos publicó una guía actualizada sobre IA y dispositivos médicos basados ​​en aprendizaje automático, exigiendo un monitoreo posterior a la comercialización más riguroso, registros de auditoría más claros y medidas de protección contra la desviación del modelo en entornos de alto riesgo. La Comisión Federal de Comercio reforzó ese mensaje con medidas de cumplimiento dirigidas a las afirmaciones exageradas sobre la IA y el uso indebido de datos sanitarios confidenciales.

Estas señales cambiaron el panorama, obligando a muchos hospitales a plantear a los proveedores preguntas más complejas: ¿Cómo llega su sistema a sus conclusiones? ¿Pueden los médicos comprender e ignorar sus recomendaciones? ¿Y se comporta el modelo de forma consistente a medida que cambian las condiciones?

Para muchas empresas de IA, el entusiasmo de la última década ya no les da tiempo. Las pruebas sí.

Una prueba real

Las piezas cumplieron con esas expectativas antes que la mayoría. El escrutinio regulatorio obligó a la empresa a analizar cómo sus modelos razonaban a partir de los datos de los pacientes y con qué claridad podía explicarse dicho razonamiento tanto a médicos como a reguladores.

Pero Amarasingham afirma que la misión de la empresa nunca cambió. “Nuestro equipo se centra en desarrollar las herramientas que faciliten la vida a médicos, enfermeras y gestores de casos, quienes soportan la carga del sistema sanitario a diario”, declara a Fast Company.

Ese enfoque implicó publicar artículos sobre métodos, compartir documentación con los sistemas sanitarios y crear procesos que permitieran detectar cuándo los modelos presentaban dificultades, se desviaban o requerían una recalibración. Estas prácticas se convirtieron en la base del siguiente capítulo de la empresa.

Shekhar Natarajan, fundador y CEO de Orchestro.ai y veterano experto en regulación sanitaria, considera que esto forma parte de un proceso más amplio. Muchas empresas de IA, afirma, se basaron en lo que él llama “seguridad emergente”, asumiendo que los resultados éticos surgirían naturalmente de las buenas intenciones y la cultura.

“Ese enfoque ya no se sostiene”, explica Natarajan. Los reguladores ahora esperan que la seguridad y la rendición de cuentas estén integradas en los propios sistemas, con razonamiento reproducible, controles documentados y salvaguardas que se mantengan incluso cuando los equipos estén sobrecargados.

Generar confianza

La confianza en la atención médica no proviene de la imagen de marca ni de la inspiración. Proviene de la prueba reiterada de que la tecnología comprende el trabajo clínico y se comporta de forma consistente en condiciones cambiantes. Los profesionales clínicos desean una IA que respete el ritmo de la jornada laboral, se adapte al ritmo impredecible de la atención al paciente y reduzca la carga cognitiva en lugar de aumentarla. Sobre todo, desean sistemas que se comporten de forma predecible.

Pieces adaptó su enfoque a estas realidades, centrándose en desarrollar herramientas para trabajar junto a los médicos en lugar de adelantarse a ellos y en crear maneras para que los equipos cuestionen las conclusiones del sistema. También diseñó sus procesos internos para documentar cuándo el modelo era correcto, presentaba dificultades, se desviaba o necesitaba una recalibración. Para Amarasingham, este tipo de pensamiento fue esencial para el progreso de la empresa.

“Para nosotros, la innovación debía priorizar al equipo de atención. El objetivo era reducir la carga cognitiva en lugar de aumentarla”, afirma, una visión que coincide con el creciente consenso en la investigación sobre IA en el ámbito sanitario.

Este énfasis coincide con lo que, según médicos independientes, frena el avance de la IA en el ámbito sanitario.

La doctora Ruth Kagwima, internista de Catalyst Physician Group en Texas, afirma que la adopción de la IA se estanca cuando las herramientas interrumpen flujos de trabajo clínicos ya sobrecargados o no logran generar confianza mediante la claridad y la validación.

“Los sistemas de IA que tienen éxito en los hospitales son fáciles de entender, se integran de forma natural en el trabajo diario y demuestran una clara seguridad y precisión”, afirma. “Deben proteger los datos de los pacientes, respetar el criterio clínico y mejorar la atención sin añadir fricción”.

Otra analista independiente de salud, la doctora Patience Onuoha, internista afiliada a varios hospitales de Indiana, señala las limitaciones prácticas que aún frenan la adopción en la práctica clínica. “Los datos suelen ser confusos y aislados, y las nuevas herramientas pueden interrumpir flujos de trabajo clínicos ya de por sí intensos”, afirma. “También existen preocupaciones reales en torno a la seguridad, el sesgo, el riesgo legal y la confianza en algoritmos difíciles de entender”.

Natarajan cree que este será el estándar que definirá la próxima década. En su opinión, las empresas sobreviven a la presión regulatoria cuando transforman sus principios internos en sistemas que pueden inspeccionarse. Construyen cadenas claras de responsabilidad, crean registros de evidencia que revelan dónde puede aparecer sesgo y muestran a los médicos no solo cómo funciona un modelo, sino también por qué.

Impacto en el futuro

La IA sanitaria avanza hacia un mundo donde la supervisión es un requisito de diseño y no una ocurrencia posterior, especialmente con los reguladores exigiendo documentación que abarque todo el ciclo de vida de un sistema. Quieren datos de rendimiento segmentados por raza, edad y afecciones médicas, garantías de que el sistema no pueda inferir rasgos sensibles que los pacientes nunca revelaron, y que las empresas demuestren la rapidez con la que pueden detectar y corregir las desviaciones de los modelos.

Parte de este impulso proviene de los daños que han surgido con el tiempo. Por ejemplo, una investigación reciente publicada por el Financial Times reveló que algunas herramientas médicas de IA tendían a subestimar los síntomas de mujeres y pacientes de minorías étnicas, lo que podría agravar las disparidades en la atención médica debido a que los modelos no fueron entrenados ni evaluados en cuanto a equidad y transparencia.

Las empresas que se adapten a esta nueva realidad darán forma a la próxima generación de IA clínica. Pieces opera ahora en este panorama. Como parte de Smarter Technologies, trabaja para extender sus prácticas de gobernanza a una red más amplia de hospitales. Esto implica integrar marcos de seguridad en conjuntos de datos más amplios, poblaciones más diversas y entornos de distribución más amplios. Es una tarea difícil, pero también el tipo de trabajo que define el liderazgo en un campo donde el costo del fracaso se mide en resultados humanos.

Un nuevo capítulo

La IA en el sector sanitario está entrando en una fase de crecimiento trascendental, donde la seguridad de los sistemas de IA es mucho más importante que los avances que acaparan titulares.

A medida que los hospitales afinan sus expectativas en cuanto a la IA, Amarasingham cree que el sector deberá adoptar una mentalidad diferente. “En el sector sanitario y la IA, no se juega para ganar de una vez por todas; se juega para seguir jugando, seguir aprendiendo y seguir mejorando los resultados para los pacientes”, afirma.

El trabajo, añade, nunca terminará, porque las reglas cambian y las necesidades evolucionan. Lo que importa es si las empresas deciden diseñar para esa realidad. En otras palabras, la IA en el sector sanitario avanzará solo a la velocidad que gane confianza. Y eso significa que los proveedores y compradores de IA en el sector sanitario deben, ahora más que nunca, comprometerse con un trabajo constante y transparente que resista la presión.