Comparación de la aplicación automatizada de las normas de bienestar social: siete sistemas documentados

Desde mediados de la década de 2010, gobiernos de países de ingresos altos y medios han automatizado partes de la aplicación de las normas de bienestar social: cruzar registros para detectar pagos en exceso, asignar puntuaciones de riesgo de fraude a las solicitudes y comprobar el derecho a prestaciones mediante registros nacionales. Siete de estos sistemas están ahora inusualmente bien documentados porque los examinaron tribunales, organismos reguladores, parlamentos o investigadores de derechos humanos: el sistema neerlandés SyRI de indicadores de riesgo y el modelo de riesgo para las prestaciones de cuidado infantil, el sistema de desempleo MiDAS de Michigan, Robodebt de Australia, los modelos de control del fraude de Udbetaling Danmark de Dinamarca, el modelo de anticipos del crédito universal del Departamento de Trabajo y Pensiones (DWP) del Reino Unido y el registro Tarjeta Social de Serbia. Este estudio los compara según un conjunto común de dimensiones —qué hacía el sistema, qué datos utilizaba, qué papel conservaban las personas, cuán transparente era, cómo se podía impugnar y cómo terminó— para identificar qué patrones de fallos se repiten y qué salvaguardias cuentan con respaldo empírico.

Hallazgos clave

• A menudo se agrupan sistemas de dos tipos distintos. La automatización de decisiones (MiDAS, Robodebt y, en la práctica, el registro serbio) generaba directamente determinaciones desfavorables; la selección por riesgo (SyRI, el modelo neerlandés de cuidado infantil, Dinamarca y el modelo del DWP) elegía a quién investigar. El primer tipo falla al producir decisiones erróneas a gran escala; el segundo, al decidir a quién se somete a escrutinio.
• Los daños mejor documentados y más graves se debieron a la automatización de decisiones con inversión de la carga de la prueba. Una revisión citada por IEEE Spectrum concluyó que MiDAS resolvió 40,195 casos de fraude únicamente mediante un algoritmo, y que el 85% de ellos se resolvió de forma incorrecta; Robodebt generó deudas ilícitas por unos $1.73 mil millones contra aproximadamente 433,000 personas.
• Los sistemas de selección fallan debido al uso de variables indirectas. Se repiten la nacionalidad (Países Bajos), la «vinculación con el extranjero» y los patrones «inusuales» en los hogares (Dinamarca), la focalización por vecindario (SyRI) y las disparidades por edad, discapacidad, estado civil y nacionalidad (Reino Unido). Ninguno de los sistemas de selección publicó tasas de error validadas por grupo.
• Que «una persona tome la decisión final» no protegió a la gente. No se informó a los funcionarios neerlandeses por qué una solicitud había recibido una puntuación alta; trabajadores sociales serbios dijeron a los solicitantes «es el nuevo sistema de Belgrado el que decidió»; y el DWP se basó en las decisiones de los gestores de casos para considerar proporcional su modelo, antes de que su propio análisis de equidad detectara disparidades.
• Los sistemas fueron detenidos por instituciones externas, no mediante evaluaciones internas. Intervinieron tribunales (SyRI en 2020; litigios sobre Robodebt en 2019–2021), un organismo regulador de protección de datos (Países Bajos), una investigación parlamentaria y pesquisas de ONG y periodistas.
• Las condiciones que los posibilitaron se repiten y son de carácter político y jurídico: objetivos de ahorro, retórica sobre el fraude, leyes sin excepciones por dificultades económicas, secretismo justificado por el temor a que la gente «manipule el sistema» y mecanismos individuales de reparación débiles o lentos.

Pregunta de investigación y alcance

La pregunta es: en casos bien documentados de aplicación automatizada de las normas de bienestar social, ¿qué características de diseño y condiciones institucionales se asocian con daños graves, y qué salvaguardias han funcionado realmente?

Selección de casos. Se incluyeron casos si un organismo externo autorizado —un tribunal, un regulador, una comisión parlamentaria de investigación o una comisión real— o una investigación publicada y detallada basada en documentos oficiales había examinado el sistema. Esto favorece los escándalos y no constituye una muestra aleatoria de algoritmos de prestaciones sociales; la mayoría de los sistemas en uso nunca se ha examinado. La OCDE informó en 2026 que solo 10 de 36 países de la OCDE miden el impacto de algún caso de uso de IA gubernamental, por lo que no se puede evaluar a la mayoría que no ha sido examinada.

Dimensiones. Cada caso se compara en función, datos, papel humano, transparencia, vía de impugnación, resultado y organismo que lo detuvo o expuso.

Antecedentes

Por qué se automatiza el control de las prestaciones sociales

Las prestaciones sujetas a comprobación de recursos generan grandes volúmenes de datos pequeños y verificables —ingresos, composición del hogar, residencia— que se encuentran en distintas bases de datos. Cruzarlos es barato, y los gobiernos afrontan una presión política persistente en torno al fraude y el error. El DWP del Reino Unido, por ejemplo, justificó su modelo como parte de los esfuerzos por reducir los 8.000 millones de libras esterlinas anuales que, según estimaciones, se pierden por fraude y error, de acuerdo con lo publicado por The Guardian. Sin embargo, la Comisión Real australiana sobre Robodebt oyó testimonios según los cuales «el fraude en el sistema de prestaciones sociales era minúsculo» y advirtió que «la retórica contra las prestaciones sociales es populismo fácil». La brecha entre el fraude percibido y el medido es un factor recurrente.

Un patrón más antiguo

Estos sistemas forman parte de una historia más larga. Automating Inequality (2018), de Virginia Eubanks, documentó cómo la automatización de la elegibilidad, los modelos de riesgo y los registros en Estados Unidos trasladaron el escrutinio a los hogares pobres; los casos que siguen son sus equivalentes europeos y australianos, ahora con registros jurídicos más sólidos.

Método y fuentes

La evidencia procede de documentos jurídicos y regulatorios primarios cuando están disponibles —la sentencia del Tribunal de Distrito de La Haya sobre SyRI y el escrito amicus curiae del Relator Especial de la ONU en ese caso, los comunicados de la Fiscalía General de Michigan sobre el acuerdo en Bauserman, las conclusiones de la Autoridad Neerlandesa de Protección de Datos y la investigación parlamentaria neerlandesa— y de investigaciones detalladas basadas en documentos oficiales: los informes de Amnistía Internacional sobre Dinamarca (2024) y Serbia (2023), el reportaje de The Guardian sobre un análisis de equidad del DWP divulgado en respuesta a una solicitud de acceso a la información, el artículo de IEEE Spectrum sobre MiDAS y la cobertura del Tribunal Federal australiano y de la Comisión Real. Para analizar la supervisión humana se utilizan dos trabajos revisados por pares: los experimentos de Alon-Barkat y Busuioc (2023) y el análisis de políticas públicas de Green (2022).

Limitaciones. Los informes de las ONG son documentos de incidencia; sus descripciones fácticas se basan en registros oficiales obtenidos mediante leyes de acceso a la información, pero los gobiernos concernidos cuestionan sus conclusiones jurídicas (Udbetaling Danmark, de Dinamarca, por ejemplo, rechaza la opinión de Amnistía de que sus modelos constituyen una puntuación social prohibida). El análisis de equidad del DWP se divulgó con partes clave censuradas. Las cifras de errores de MiDAS proceden de una revisión reseñada en una revista técnica, no de una sentencia judicial. No existen métricas de resultados comparables entre los casos —falsos positivos, sanciones injustificadas, importes recuperados—.

Hallazgo 1: qué hacían los sistemas

Automatización de decisiones

MiDAS. Un artículo de IEEE Spectrum de 2018 informa que más de 34.000 personas fueron acusadas injustamente de fraude al seguro de desempleo en Michigan entre octubre de 2013 y septiembre de 2015, y que una revisión concluyó que MiDAS «resolvió —solo mediante un algoritmo— 40.195 casos de fraude, y el 85 por ciento dio lugar a determinaciones de fraude incorrectas». Las sanciones eran severas —una multa equivalente al 400% del importe reclamado, el embargo de salarios y la retención de devoluciones de impuestos— y los abogados detectaron un aumento de las apelaciones exitosas antes de descubrir que muchas acusaciones se habían generado «sin intervención humana ni posibilidad de revisar la acusación». En 2015, los solicitantes demandaron al estado en Bauserman v. Unemployment Insurance Agency; después de que la Corte Suprema de Michigan determinara en 2019 que el grupo se limitaba a las personas a quienes se les hubiera cobrado dinero por primera vez el 9 de marzo de 2015 o después, y en julio de 2022 que podían solicitar una indemnización en virtud de la constitución estatal, el estado aceptó un acuerdo de $20 millones, que el Tribunal de Reclamaciones de Michigan aprobó el 29 de enero de 2024.

Robodebt. Robodebt generaba deudas distribuyendo los ingresos anuales de la oficina tributaria entre períodos quincenales para las personas que no aportaban pruebas; el Tribunal Federal oyó que se habían generado ilegalmente deudas por valor de $1.73 mil millones contra unas 433.000 personas, y que se habían recuperado $751 millones de unas 381.000. Véase el estudio completo sobre Robodebt.

Serbia. El registro Social Card no decide formalmente la elegibilidad, pero Amnistía Internacional constató que «introduce la toma de decisiones semiautomatizada» mediante notificaciones de alerta que activan revisiones urgentes. Las cifras del Gobierno mostraban 176,000 beneficiarios en agosto de 2023, 35,000 menos que en marzo de 2022, cuando la ley entró en vigor: un descenso que coincidió con el registro, aunque Amnistía señala que no están claras las cifras exactas de denegaciones atribuibles al sistema.

Selección de riesgos

SyRI. El Tribunal de Distrito de La Haya señala que entre 2008 y 2014 se llevaron a cabo 160 proyectos de equipos de intervención y que en 19 de los 21 proyectos concluidos se aplicó un «enfoque orientado a los barrios». Tras la modificación de la Ley SUWI, que entró en vigor el 1 de enero de 2014, se llevaron a cabo cinco proyectos SyRI, entre ellos algunos en barrios de Róterdam, Capelle aan den IJssel y Haarlem. El Estado se negó a revelar el modelo de riesgo y los indicadores, alegando que, de lo contrario, la ciudadanía podría adaptar su comportamiento.

El modelo neerlandés de prestaciones por cuidado infantil se analiza en un estudio aparte: la autoridad de protección de datos constató que se utilizaba la nacionalidad como indicador y multó a la administración tributaria con €2.75 millones en 2021.

Dinamarca. Amnistía informa que Udbetaling Danmark (creada por ley en 2012) y la empresa de pensiones ATP, que administra las prestaciones en su nombre, gestionan una Unidad Conjunta de Datos que combina registros de millones de residentes y utiliza modelos de elaboración de perfiles para generar listas de personas señaladas para investigación; según se informó, en 2019 la agencia utilizaba alrededor de 60 modelos de IA y aprendizaje automático. Un modelo, «Model Abroad», puntúa la «vinculación con el extranjero» de los beneficiarios y da prioridad a las personas con «vínculos de intensidad media y alta» con países no pertenecientes al EEE para su investigación.

Reino Unido. The Guardian informó en diciembre de 2024 que un «análisis de equidad» del DWP realizado en febrero de 2024 detectó una «disparidad estadísticamente significativa en los resultados» según la edad, la discapacidad, el estado civil y la nacionalidad en el modelo de aprendizaje automático utilizado para evaluar las solicitudes de anticipos del crédito universal; aún no se había realizado ningún análisis de equidad en relación con la raza, el sexo, la orientación sexual, la religión, el embarazo o la reasignación de género.

Hallazgo 2: variables proxy y calidad de los datos

Características protegidas y sus variables proxy

El tribunal que examinó SyRI concluyó que el uso del modelo de riesgo «conlleva el riesgo de que se produzcan efectos discriminatorios —intencionados o no—», y señaló el argumento de los demandantes de que centrarse en barrios problemáticos «aumenta las probabilidades de descubrir irregularidades en esas zonas», lo que «a su vez confirma la imagen del barrio como zona problemática». El informe de Amnistía sobre Dinamarca plantea el mismo punto respecto de las métricas relativas: los «vínculos de intensidad media y alta» se definen en relación con otros beneficiarios, no mediante criterios objetivos.

Los datos erróneos como decisión

Serbia muestra que el daño no requiere modelos sofisticados. Amnistía documenta el caso de una mujer que perdió la asistencia social en febrero de 2023 después de que un grupo de derechos humanos le ingresara una ayuda de 20,000 dinares para contribuir a pagar el funeral de su hija, que el registro marcó como ingreso; y el de familias romaníes que perdieron la asistencia porque unos coches vendidos como chatarra años antes aún figuraban registrados a su nombre. El cálculo del promedio en Robodebt se basaba en una suposición igualmente sencilla. En ambos casos, el error consistió en tratar un artefacto de los datos como un hecho de la vida de una persona.

Hallazgo 3: los límites de la intervención humana

La mayoría de estos sistemas mantenían a una persona en algún punto del proceso. Eso no impidió que se produjeran daños:

• Sin motivos, no hay criterio. Amnistía informa que los funcionarios neerlandeses que revisaban las solicitudes de alto riesgo para prestaciones por cuidado infantil «no recibían información sobre por qué el sistema había asignado a la solicitud una puntuación de alto riesgo».
• Deferencia. Los solicitantes serbios dijeron a Amnistía que los trabajadores sociales atribuían las decisiones al «nuevo sistema» y afirmaban que no podían anular las notificaciones; «No hay nada que pueda hacer, es el nuevo sistema de Belgrado el que decidió» fue la respuesta documentada con mayor frecuencia.
• Garantía basada en formalidades. A mediados de 2024, el DWP había declarado que el modelo «no presentaba motivos inmediatos de preocupación por discriminación», en parte porque «la decisión final sobre si una persona recibe una prestación social sigue tomándola una persona».

La evidencia experimental complica las explicaciones simplistas. Alon-Barkat y Busuioc realizaron tres experimentos en los Países Bajos (con 605, 904 y 1,345 participantes; la última muestra estaba compuesta por funcionarios públicos). No encontraron evidencia de un sesgo de automatización general: los participantes no seguían los consejos algorítmicos más que consejos equivalentes de expertos humanos; pero sí detectaron adhesión selectiva: en el segundo estudio, los participantes tenían más probabilidades de seguir consejos que coincidían con estereotipos grupales. Ese patrón no apareció entre los funcionarios públicos encuestados poco después del escándalo de las prestaciones por cuidado infantil, algo que los autores atribuyen a una mayor conciencia del problema. Ben Green sostiene, en términos más generales, que las políticas que exigen supervisión humana de los algoritmos gubernamentales se basan en una premisa débil —las personas supervisan mal los algoritmos— y pueden legitimar sistemas defectuosos; propone, en cambio, que las agencias justifiquen el uso de algoritmos y que la supervisión sea institucional, no individual.

Hallazgo 4: cómo se expusieron y detuvieron los sistemas

Tribunales: SyRI como precedente principal

La sentencia sobre SyRI es el resultado jurídico más claro. El tribunal examinó la legislación de SyRI a la luz del artículo 8(2) del Convenio Europeo de Derechos Humanos, que exige un «justo equilibrio» entre el interés público perseguido y la injerencia en la vida privada. Determinó que la legislación «contiene garantías insuficientes para proteger el derecho al respeto de la vida privada en relación con los indicadores de riesgo y el modelo de riesgo», que era imposible verificar cómo se había generado el «árbol de decisión simple» del modelo y que, por lo tanto, «resultaba difícil comprender cómo una persona cuyos datos son objeto de tratamiento podría defenderse del hecho de que se haya presentado un informe de riesgo sobre ella». En otras palabras, la transparencia se consideró una condición previa para poder impugnar las decisiones. El Relator Especial de la ONU sobre la extrema pobreza y los derechos humanos, Philip Alston, había presentado un escrito de amicus curiae en apoyo de la demanda de los demandantes el 26 de septiembre de 2019, y la sentencia deja constancia de que estos contaron durante el proceso con el apoyo de la federación sindical FNV y del Relator Especial (párr. 6.92).

Reguladores e investigaciones

En los Países Bajos, fue la autoridad de protección de datos la que convirtió un escándalo político en una conclusión jurídica sobre el propio modelo, y una investigación parlamentaria la que exigió responsabilidades políticas. En Australia, por el contrario, la Comisión Real concluyó que el Defensor del Pueblo, el comisionado de información y el Tribunal de Apelaciones Administrativas ofrecieron pocos «obstáculos a la continuidad del Plan»; el litigio y un cambio de gobierno hicieron el trabajo.

Apelaciones individuales

Las apelaciones individuales ayudaron a las personas, pero rara vez detuvieron los sistemas. En Michigan, las apelaciones exitosas fueron la señal que sacó a la luz MiDAS. En Serbia, Amnistía documenta el caso de una mujer que logró que se restablecieran sus prestaciones con asistencia jurídica gratuita en su segundo intento, después de pasar meses sin apoyo. La Comisión Real sobre Robodebt concluyó que el sistema de tribunales era ineficaz como mecanismo de control sistémico.

Lo que las pruebas no demuestran

• No demuestra que la aplicación automatizada de las normas no pueda funcionar. Una comparación de datos bien diseñada puede reducir los errores sin causar estos daños; estos sistemas rara vez llegan a ser objeto de sentencias judiciales, por lo que están infrarrepresentados aquí.
• No demuestra que el aprendizaje automático sea el principal peligro. Los sistemas más perjudiciales —MiDAS y Robodebt— se basaban en reglas y cálculos aritméticos. La opacidad, las variables proxy y la inversión de la carga de la prueba importan más que el tipo de modelo.
• No ofrece tasas de error comparables. Solo MiDAS tiene una cifra de errores publicada para las decisiones automatizadas, y procede de una revisión citada de segunda mano.
• No zanja los casos danés y británico. Ambos gobiernos cuestionan las conclusiones de sus críticos; el registro documental es parcial y está censurado.
• No demuestra que una sola salvaguardia sea suficiente. En todos los casos faltaban varias salvaguardias a la vez.

Implicaciones para el diseño institucional

1. Nunca permitas que una coincidencia de datos o una puntuación se consideren prueba. Las determinaciones adversas deben exigir pruebas que satisfagan a un revisor independiente; la carga debe seguir recayendo en la autoridad.
2. Separa la selección de la sanción. Que alguien sea señalado para una comprobación no debería suspender sus pagos ni asignarle etiquetas sin pruebas independientes y sin darle la oportunidad de responder.
3. Publica los fundamentos del modelo y su perfil de errores. SyRI demuestra que los tribunales considerarán que los modelos no divulgados son incompatibles con la protección jurídica. Las preocupaciones por la «manipulación del sistema» pueden abordarse divulgando la lógica y los resultados de validación, sin revelar los umbrales vigentes.
4. Comprueba la existencia de variables proxy, no solo de atributos protegidos, y examina todas las características protegidas antes de la implementación: el DWP solo había comprobado algunas.
5. Proporciona a los revisores los motivos y la autoridad necesaria. Un revisor humano necesita conocer los factores que motivaron una alerta, disponer de tiempo para investigar y tener facultades expresas para revocarla, además de formación para evitar la deferencia.
6. Establece mecanismos de activación sistémica. Cuando las apelaciones contra un sistema prosperen a una tasa inusualmente alta, un defensor del pueblo o un organismo regulador debería poder suspenderlo a la espera de una revisión.
7. Contabiliza el coste total. Las evaluaciones deberían contabilizar las deudas cobradas indebidamente, los reembolsos, los litigios y las indemnizaciones, no solo las cantidades recuperadas.

Preguntas abiertas

• ¿Cuántos sistemas automatizados de control del cumplimiento de las normas de prestaciones sociales se utilizan sin examen externo alguno, y cómo podrían los registros hacerlos visibles?
• ¿Cambiará las prácticas como la danesa el tratamiento que da la Ley de IA de la UE al acceso a los servicios públicos esenciales como ámbito de alto riesgo y su prohibición de la puntuación social, y quién resolverá las controversias sobre la clasificación?
• ¿Cómo pueden hacerse significativas las pruebas de equidad cuando los gobiernos censuran la información sobre los grupos afectados?
• ¿Disuaden de daños futuros los mecanismos de reparación sistémica, como las demandas colectivas y las multas de los organismos reguladores, o principalmente compensan los daños pasados?
• ¿Cómo sería un modelo positivo de referencia: un sistema automatizado de control del cumplimiento con tasas de error publicadas, datos sobre impugnaciones y auditoría independiente?

Fuentes

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24 de enero de 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6 de diciembre de 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, Paris.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26 de septiembre de 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30 de enero de 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20 de octubre de 2022.