Demanda por sesgo racial en IA carcelaria en Ontario

¿Qué ha ocurrido?

En febrero de 2025, el bufete Koskie Minsky presentó una demanda colectiva contra el gobierno de Ontario alegando que el sistema de inteligencia artificial SAFER (Security Assessment for Evaluating Risk), utilizado desde 2021 en las prisiones provinciales para clasificar a los reclusos según su nivel de riesgo, asigna de manera desproporcionada a personas negras a regímenes de máxima seguridad. La investigación del periodista Desmond Cole, publicada por The Breach, reveló que entre 2022 y 2025, las personas negras —que constituyen aproximadamente el 5% de la población de Ontario— representaron casi el 27% de los presos en máxima seguridad, mientras que los blancos están subrepresentados en esa categoría. El análisis de datos gubernamentales fue realizado por el criminólogo Scot Wortley, de la Universidad de Toronto.

El SAFER fue diseñado por el investigador Grant Duwe, quien no respondió a las solicitudes de comentarios. La herramienta asigna una puntuación de riesgo basada en factores como el historial de arrestos y la disciplina penitenciaria. Sin embargo, estos datos reflejan décadas de discriminación racial en la actuación policial y en los procesos judiciales, lo que genera un sesgo algorítmico sistémico.

¿Por qué es importante?

Este caso evidencia cómo los sistemas de inteligencia artificial pueden perpetuar y amplificar sesgos raciales existentes en el sistema de justicia penal. El SAFER se basa en datos históricos que, según documentos internos de capacitación citados por The Breach, el propio gobierno reconoció que 'probablemente contribuirían a la sobrerrepresentación' de personas indígenas y racializadas en máxima seguridad. Sin embargo, mientras que se adoptaron medidas de mitigación para los presos indígenas —como la consideración de factores contextuales—, no se extendieron protecciones similares a los reclusos negros. La demanda alega que esto constituye una discriminación racial ilegal bajo la Carta Canadiense de Derechos y Libertades.

El caso se suma a otros incidentes globales donde la IA ha mostrado sesgos raciales, como el sistema COMPAS en Estados Unidos, utilizado para predecir reincidencia, que sobreestimaba el riesgo de reincidencia en personas negras. También recuerda al caso de sesgo en algoritmos de contratación de Amazon, que penalizaban currículums de mujeres. La diferencia clave aquí es que el SAFER es una herramienta gubernamental en un contexto de privación de libertad, donde las consecuencias son especialmente graves: los presos en máxima seguridad tienen menos libertad de movimiento, menos acceso a programas y visitas, y condiciones más duras.

¿Qué consecuencias tendrá?

La demanda colectiva busca que se declare ilegal el uso del SAFER y que se compense a los afectados. Si tiene éxito, podría sentar un precedente importante sobre la responsabilidad de las administraciones públicas al implementar herramientas de IA en contextos sensibles. También podría obligar a revisar no solo el SAFER, sino otros sistemas similares utilizados en Canadá y otros países. La Defensoría del Pueblo de Ontario ha recibido quejas sobre el impacto desproporcionado del SAFER y está en curso una revisión ministerial del programa.

A nivel más amplio, este caso refuerza la necesidad de auditorías independientes de sesgo algorítmico y de transparencia en los algoritmos utilizados por el sector público. La Unión Europea ya está avanzando con la Ley de IA, que exige evaluaciones de impacto para sistemas de alto riesgo como este. En Canadá, la Ley de Inteligencia Artificial y Datos (AIDA) aún está en proceso legislativo, pero casos como este podrían acelerar su implementación.

Para las empresas tecnológicas, el caso subraya la importancia de diseñar algoritmos con equidad desde el inicio, y no como un parche posterior. Para los usuarios, especialmente las comunidades racializadas, es una llamada de atención sobre cómo la tecnología puede reforzar injusticias históricas si no se controla.

¿Qué deben saber los lectores?

• El SAFER fue diseñado por Grant Duwe, quien no respondió a solicitudes de comentarios. Duwe es conocido por desarrollar herramientas de evaluación de riesgos en el sistema penitenciario de Minnesota.
• La demanda fue presentada en febrero de 2025 y está en fase de certificación como demanda colectiva. Se basa en datos gubernamentales analizados por Scot Wortley, experto en discriminación racial en el sistema de justicia.
• El Ministerio del Fiscal General de Ontario no ha respondido a preguntas sobre la metodología o precisión del SAFER. Tampoco ha proporcionado detalles sobre las medidas de mitigación implementadas para presos indígenas.
• La Defensoría del Pueblo de Ontario ha recibido quejas y está en curso una revisión ministerial del programa. Además, la demanda cita documentos internos que muestran que el gobierno conocía los riesgos de sesgo.
• Este caso se suma a otros incidentes globales: el sistema COMPAS en EE.UU., el algoritmo de beneficios en los Países Bajos que discriminaba a minorías étnicas, y el sistema de vigilancia predictiva en el Reino Unido que también mostró sesgos raciales.

Este caso pone de relieve que la inteligencia artificial no es neutral: si se alimenta con datos sesgados, reproduce y amplifica las injusticias existentes. La transparencia y la equidad deben ser requisitos previos a su implementación en el sector público. Como señaló la demanda, 'el gobierno no puede externalizar la discriminación a un algoritmo'.