4 principios para usar la inteligencia artificial para detectar el abuso sin empeorarlo

La inteligencia artificial se está adoptando rápidamente para ayudar a prevenir el abuso y proteger a las personas vulnerables, como niños en orfanatos, adultos en residencias de ancianos y estudiantes en escuelas. Estas herramientas prometen detectar el peligro en tiempo real y alertar a las autoridades antes de que se produzcan daños graves.

Los desarrolladores utilizan, por ejemplo, el procesamiento del lenguaje natural (una forma de inteligencia artificial que interpreta el lenguaje escrito o hablado) para intentar detectar patrones de amenazas, manipulación y control en los mensajes de texto. Esta información podría ayudar a detectar el abuso doméstico y, potencialmente, ayudar a los tribunales o a las fuerzas del orden en la intervención temprana. Algunas agencias de bienestar infantil utilizan modelos predictivos, otra técnica común de inteligencia artificial, para calcular qué familias o personas corren mayor riesgo de sufrir abuso.

Si se implementan de forma inteligente, las herramientas de inteligencia artificial tienen el potencial de mejorar la seguridad y la eficiencia. Por ejemplo, los modelos predictivos han ayudado a los trabajadores sociales a priorizar los casos de alto riesgo e intervenir con mayor antelación.

Pero como trabajadora social con 15 años de experiencia investigando la violencia familiar, y cinco años en primera línea como gestora de casos de acogida, investigadora de abuso infantil y coordinadora de primera infancia, he visto cómo los sistemas bienintencionados a menudo fallan a las mismas personas que se supone que deben proteger.

Ahora, colaboro en el desarrollo de iCare, una cámara de vigilancia impulsada por inteligencia artificial que analiza los movimientos de las extremidades, no los rostros ni las voces, para detectar la violencia física. Me enfrento a una pregunta crucial: ¿Puede la inteligencia artificial realmente ayudar a proteger a las personas vulnerables o simplemente está automatizando los mismos sistemas que les han causado daño durante mucho tiempo?

Nueva tecnología, vieja injusticia

Muchas herramientas de inteligencia artificial están entrenadas para “aprender” analizando datos históricos. Pero la historia está llena de desigualdad, sesgo y suposiciones erróneas. También lo están las personas que diseñan, prueban y financian la IA.

Eso significa que los algoritmos de IA pueden acabar replicando formas sistémicas de discriminación, como el racismo o el clasismo. Un estudio de 2022 en el condado de Allegheny, Pensilvania, reveló que un modelo predictivo de riesgo para evaluar los niveles de riesgo de las familias (puntuaciones otorgadas al personal de la línea directa para ayudarles a filtrar las llamadas) habría marcado a los niños negros para investigación con un 20% más de frecuencia que a los niños blancos, si se hubiera utilizado sin supervisión humana. Cuando se incluyó a los trabajadores sociales en la toma de decisiones, esa disparidad se redujo al 9%.

La IA basada en el lenguaje también puede reforzar el sesgo. Por ejemplo, un estudio mostró que los sistemas de procesamiento del lenguaje natural clasificaron erróneamente el inglés vernáculo afroamericano como “agresivo” con una tasa significativamente mayor que el inglés estadounidense estándar, hasta con 62% más de frecuencia en ciertos contextos.

Por otro lado, un estudio de 2023 reveló que los modelos de IA a menudo tienen dificultades con las claves del contexto, lo que significa que los mensajes sarcásticos o en broma pueden clasificarse erróneamente como amenazas graves o señales de angustia.

Estas fallas pueden replicar problemas mayores en los sistemas de protección. Las personas de color han sido durante mucho tiempo sobrevigiladas en los sistemas de bienestar infantil, a veces debido a malentendidos culturales, a veces debido a prejuicios. Estudios han demostrado que las familias negras e indígenas enfrentan tasas desproporcionadamente más altas de denuncia, investigación y separación familiar en comparación con las familias blancas, incluso después de considerar los ingresos y otros factores socioeconómicos.

Muchas de estas disparidades se derivan del racismo estructural arraigado en décadas de decisiones políticas discriminatorias, así como de sesgos implícitos y la toma de decisiones discrecional por parte de trabajadores sociales sobrecargados.

Vigilancia sobre el apoyo

Incluso cuando los sistemas de IA reducen el daño a los grupos vulnerables, a menudo lo hacen a un costo alarmante.

En hospitales y centros de atención a personas mayores, por ejemplo, se han utilizado cámaras con IA para detectar agresiones físicas entre el personal, los visitantes y los residentes. Si bien los proveedores comerciales promocionan estas herramientas como innovaciones de seguridad, su uso plantea serias preocupaciones éticas sobre el equilibrio entre protección y privacidad.

En un programa piloto de 2022 en Australia, los sistemas de cámaras con IA implementados en dos residencias generaron más de 12,000 alertas falsas a lo largo de 12 meses, lo que abrumó al personal y pasó por alto al menos un incidente real. La precisión del programa “no alcanzó un nivel aceptable para el personal y la dirección”, según el informe independiente.

Los niños también se ven afectados. En las escuelas estadounidenses, la vigilancia con IA como Gaggle, GoGuardian y Securly se promociona como herramientas para mantener a los estudiantes seguros. Estos programas pueden instalarse en los dispositivos de los estudiantes para monitorear la actividad en línea y detectar cualquier problema.

Pero también se ha demostrado que detectan comportamientos inofensivos, como escribir cuentos cortos con violencia leve o investigar temas relacionados con la salud mental. Como reveló una investigación de Associated Press, estos sistemas también han revelado la identidad de estudiantes LGBTQ+ a sus padres o administradores escolares al monitorear búsquedas o conversaciones sobre género y sexualidad.

Otros sistemas utilizan cámaras y micrófonos en las aulas para detectar la “agresión”. Sin embargo, con frecuencia identifican erróneamente comportamientos normales como reír, toser o jugar bruscamente, lo que a veces provoca intervención o medidas disciplinarias.

Estos no son fallos técnicos aislados; reflejan profundas deficiencias en la forma en que se entrena e implementa la inteligencia artificial. Los sistemas de IA aprenden de datos pasados, seleccionados y etiquetados por humanos; datos que a menudo reflejan desigualdades y sesgos sociales. Como escribió la socióloga Virginia Eubanks en Automatizar la desigualdad, los sistemas de IA corren el riesgo de agravar estos daños de larga data.

Cuidado, no castigo

Creo que la inteligencia artificial puede seguir siendo una fuerza para el bien, pero solo si sus desarrolladores priorizan la dignidad de las personas a las que estas herramientas deben proteger.

He desarrollado un marco de cuatro principios clave para lo que llamo “IA sensible al trauma”.

1. Control de supervivientes: Las personas deben tener voz y voto sobre cómo, cuándo y si son monitoreadas. Proporcionar a los usuarios un mayor control sobre sus datos puede aumentar la confianza en los sistemas de IA y su interacción con los servicios de apoyo, como la creación de planes personalizados para mantenerse seguros o acceder a ayuda.
2. Supervisión humana: Los estudios demuestran que combinar la experiencia de los trabajadores sociales con el apoyo de la IA mejora la equidad y reduce el maltrato infantil, como en el condado de Allegheny, donde los trabajadores sociales utilizaron puntuaciones de riesgo algorítmicas como un factor, junto con su criterio profesional, para decidir qué denuncias de abuso infantil investigar.
3. Auditoría de sesgos: Cada vez se anima más a los gobiernos y desarrolladores a probar los sistemas de IA para detectar sesgos raciales y económicos. Herramientas de código abierto como AI Fairness 360 de IBM, What-If Tool de Google y Fairlearn ayudan a detectar y reducir estos sesgos en los modelos de aprendizaje automático.
4. Privacidad desde el diseño: La tecnología debe diseñarse para proteger la dignidad de las personas. Herramientas de código abierto como Amnesia, la biblioteca de privacidad diferencial de Google y SmartNoise de Microsoft ayudan a anonimizar datos confidenciales eliminando u ocultando información identificable. Además, las técnicas impulsadas por IA, como el desenfoque facial, pueden anonimizar la identidad de las personas en datos de video o fotografía.

Honrar estos principios significa construir sistemas que respondan con cuidado, no con castigo.

Ya están surgiendo algunos modelos prometedores. La Coalición Contra el Stalkerware y sus socios abogan por la inclusión de los sobrevivientes en todas las etapas del desarrollo tecnológico, desde la evaluación de necesidades hasta las pruebas de usuario y la supervisión ética.

La legislación también es importante. El 5 de mayo de 2025, por ejemplo, el gobernador de Montana firmó una ley que restringe a los gobiernos estatales y locales el uso de IA para tomar decisiones automatizadas sobre personas sin una supervisión humana significativa. Exige transparencia sobre cómo se utiliza la IA en los sistemas gubernamentales y prohíbe la elaboración de perfiles discriminatorios.

Como les digo a mis estudiantes, las intervenciones innovadoras deben interrumpir los ciclos de daño, no perpetuarlos. La IA nunca reemplazará la capacidad humana de contexto y compasión. Pero con los valores correctos como base, podría ayudarnos a ofrecer más de ellas.

Aislinn Conrad es profesora asociada de trabajo social en la Universidad de Iowa. Este artículo se republicó de The Conversation bajo una licencia Creative Commons. Lee el artículo original.