Comparaison des dispositifs automatisés de contrôle des prestations sociales : sept systèmes documentés

Depuis le milieu des années 2010, des gouvernements de pays riches et à revenu intermédiaire ont automatisé certaines opérations de contrôle des prestations sociales : rapprochement de dossiers pour détecter les trop-perçus, évaluation des demandes selon le risque de fraude et vérification de l’admissibilité à partir de registres nationaux. Sept de ces systèmes sont aujourd’hui particulièrement bien documentés, car des tribunaux, des autorités de régulation, des parlements ou des chercheurs en droits humains les ont examinés : le système néerlandais d’indication des risques SyRI et le modèle d’évaluation des risques liés aux allocations de garde d’enfants, le système d’assurance chômage MiDAS du Michigan, Robodebt en Australie, les modèles de lutte contre la fraude de Udbetaling Danmark au Danemark, le modèle d’avances du crédit universel du ministère britannique du Travail et des Retraites (DWP), et le registre de la carte sociale en Serbie. Cette étude les compare selon un ensemble commun de dimensions — fonction du système, données utilisées, rôle conservé par les humains, transparence, possibilités de contestation et issue — afin de déterminer quels schémas d’échec se répètent et quelles garanties sont étayées par les données.

Principaux constats

• Deux familles de systèmes distinctes sont souvent confondues. L’automatisation des décisions (MiDAS, Robodebt et, dans les faits, le registre serbe) a produit directement des conclusions défavorables ; la sélection en fonction du risque (SyRI, le modèle néerlandais relatif aux allocations de garde d’enfants, les dispositifs danois et le modèle du DWP) a déterminé les personnes à contrôler. La première famille échoue en prenant à grande échelle de mauvaises décisions ; la seconde, en déterminant qui fait l’objet d’un examen approfondi.
• Les préjudices les plus graves documentés sont liés à l’automatisation des décisions et à l’inversion de la charge de la preuve. Une analyse citée par IEEE Spectrum a révélé que MiDAS avait statué sur 40,195 cas de fraude en se fondant uniquement sur un algorithme, et que 85 % de ces décisions étaient erronées ; Robodebt a réclamé environ 1.73 milliard de dollars de dettes illégales à quelque 433,000 personnes.
• Les systèmes de sélection échouent en raison de variables de substitution. La nationalité (Pays-Bas), les « liens avec l’étranger » et les profils de ménage « inhabituels » (Danemark), le ciblage de quartiers (SyRI), ainsi que les disparités liées à l’âge, au handicap, à l’état matrimonial et à la nationalité (Royaume-Uni) reviennent de façon récurrente. Aucun des systèmes de sélection n’a publié de taux d’erreur validés par groupe.
• Le fait qu’« un humain prenne la décision finale » n’a pas protégé les personnes. Les agents néerlandais ne savaient pas pourquoi une demande avait obtenu un score élevé ; des travailleurs sociaux serbes ont dit aux demandeurs : « c’est le nouveau système de Belgrade qui a décidé » ; le DWP s’est appuyé sur les décisions des agents chargés des dossiers pour juger son modèle proportionné, avant que sa propre analyse d’équité ne révèle des disparités.
• Les systèmes ont été interrompus par des institutions externes, et non par une évaluation interne. Des tribunaux (SyRI en 2020 ; litiges liés à Robodebt en 2019–2021), une autorité de protection des données (aux Pays-Bas), une commission d’enquête parlementaire, ainsi que des enquêtes d’ONG et de journalistes ont fait le travail.
• Les facteurs récurrents qui ont rendu ces dispositifs possibles sont d’ordre politique et juridique : objectifs d’économies, discours sur la fraude, lois sans clause tenant compte des difficultés particulières, secret justifié par la crainte du « détournement du système » et recours individuels faibles ou lents.

Question de recherche et périmètre

La question est la suivante : dans les cas bien documentés de contrôle automatisé des prestations sociales, quelles caractéristiques de conception et quelles conditions institutionnelles sont associées à des préjudices graves, et quelles garanties ont réellement fonctionné ?

Sélection des cas. Les cas ont été inclus lorsqu’un organisme externe faisant autorité — un tribunal, un régulateur, une commission d’enquête parlementaire ou une commission royale — ou une enquête publiée détaillée fondée sur des documents officiels avait examiné le système. Cette sélection favorise les scandales et ne constitue pas un échantillon aléatoire des algorithmes utilisés dans le domaine de la protection sociale ; la plupart des systèmes en usage n’ont jamais été examinés. En 2026, l’OCDE a indiqué que seuls 10 de ses 36 pays membres mesurent l’impact d’un cas d’utilisation de l’IA par les pouvoirs publics ; la majorité des systèmes qui n’ont pas été examinés ne peut donc pas être évaluée.

Dimensions. Chaque cas est comparé selon sa fonction, les données utilisées, le rôle des humains, la transparence, les voies de contestation, les résultats et l’organisme qui l’a interrompu ou révélé.

Contexte

Pourquoi le contrôle des prestations sociales s’automatise

Les prestations sous condition de ressources génèrent de grands volumes de faits vérifiables — revenus, composition du ménage, résidence — conservés dans différentes bases de données. Leur rapprochement est peu coûteux, et les gouvernements subissent une pression politique constante concernant la fraude et les erreurs. Le DWP britannique, par exemple, a justifié son modèle en l’inscrivant dans les efforts visant à réduire les pertes annuelles estimées à 8 milliards de livres sterling dues à la fraude et aux erreurs, selon les informations du Guardian. Pourtant, la commission royale australienne sur Robodebt a entendu des témoignages selon lesquels « la fraude dans le système de protection sociale était minime », et a averti que « la rhétorique anti-aides sociales est un populisme facile ». L’écart entre la fraude perçue et la fraude mesurée est un facteur récurrent.

Un phénomène ancien

Ces systèmes s’inscrivent dans une histoire plus longue. Dans Automating Inequality (2018), Virginia Eubanks a documenté comment l’automatisation de l’admissibilité aux aides, les modèles de risque et les registres aux États-Unis ont accru la surveillance des ménages pauvres ; les cas ci-dessous en sont les pendants européens et australiens, désormais étayés par des dossiers juridiques plus solides.

Méthode et sources

Les éléments de preuve proviennent, lorsqu’ils sont disponibles, de documents juridiques et réglementaires primaires — le jugement du tribunal de district de La Haye sur SyRI et le mémoire d’amicus curiae du Rapporteur spécial des Nations unies dans cette affaire, les annonces du procureur général du Michigan concernant le règlement dans l’affaire Bauserman, les conclusions de l’Autorité néerlandaise de protection des données et l’enquête parlementaire néerlandaise — ainsi que d’enquêtes détaillées fondées sur des documents officiels : les rapports d’Amnesty International sur le Danemark (2024) et la Serbie (2023), l’article du Guardian sur une analyse d’équité du DWP publiée à la suite d’une demande d’accès à l’information, le compte rendu de MiDAS par IEEE Spectrum et les articles relatant les travaux de la Cour fédérale australienne et de la commission royale. Deux travaux évalués par les pairs sont utilisés pour analyser la supervision humaine : les expériences d’Alon-Barkat et Busuioc (2023) et l’analyse des politiques publiques de Green (2022).

Limites. Les rapports d’ONG sont des documents de plaidoyer ; leurs descriptions factuelles s’appuient sur des documents officiels obtenus en vertu des lois sur l’accès à l’information, mais les conclusions juridiques sont contestées par les gouvernements concernés (Udbetaling Danmark, l’organisme danois de versement des prestations, rejette par exemple l’affirmation d’Amnesty selon laquelle ses modèles constituent une notation sociale interdite). L’analyse d’équité du DWP a été publiée avec des passages importants caviardés. Les chiffres relatifs aux erreurs de MiDAS proviennent d’un examen rapporté dans une revue technique, et non d’un jugement. Il n’existe pas de mesures comparables des résultats — faux positifs, sanctions injustifiées, montants recouvrés — pour l’ensemble des cas.

Constat 1 : ce que faisaient les systèmes

Automatisation des décisions

MiDAS. Le compte rendu publié en 2018 par IEEE Spectrum indique que plus de 34 000 personnes ont été accusées à tort de fraude à l’assurance chômage dans le Michigan entre octobre 2013 et septembre 2015, et qu’un examen a révélé que MiDAS « avait statué — par le seul biais d’un algorithme — dans 40 195 affaires de fraude, avec des conclusions erronées dans 85 % des cas ». Les sanctions étaient sévères — une pénalité de 400 % du montant réclamé, une saisie sur salaire et la retenue des remboursements d’impôt — et les avocats ont constaté une hausse des appels fructueux avant de découvrir que de nombreuses accusations avaient été générées « sans aucune intervention humaine ni possibilité d’examen de l’accusation ». Les demandeurs ont intenté une action contre l’État en 2015 dans l’affaire Bauserman v. Unemployment Insurance Agency ; après que la Cour suprême du Michigan a jugé en 2019 que le groupe se limitait aux personnes auxquelles des sommes avaient été réclamées pour la première fois le 9 mars 2015 ou après cette date, puis, en juillet 2022, qu’elles pouvaient demander des dommages-intérêts au titre de la constitution de l’État, celui-ci a accepté un règlement de 20 millions de dollars, approuvé par la Cour des réclamations du Michigan le 29 janvier 2024.

Robodebt. Robodebt établissait des dettes en répartissant sur des quinzaines les revenus annuels communiqués aux services fiscaux pour les personnes qui ne fournissaient pas de justificatifs ; la Cour fédérale a entendu que 1,73 milliard de dollars avaient été réclamés illégalement à environ 433 000 personnes, et que 751 millions de dollars avaient été récupérés auprès d’environ 381 000 personnes. Voir l’étude complète sur Robodebt.

Serbie. Le registre Social Card ne décide pas formellement de l’éligibilité, mais Amnesty International a constaté qu’il « introduit une prise de décision semi-automatisée » au moyen de notifications de signalement qui déclenchent des examens urgents. Les chiffres du gouvernement faisaient état de 176,000 bénéficiaires en août 2023, soit 35,000 de moins qu’en mars 2022, lorsque la loi est entrée en vigueur — une baisse qui a coïncidé avec la mise en place du registre, bien qu’Amnesty précise que le nombre exact de refus dus au système n’est pas connu.

Sélection des risques

SyRI. Le tribunal de district de La Haye indique qu’entre 2008 et 2014, 160 projets d’équipes d’intervention ont été menés, et que, dans 19 des 21 projets achevés, une « approche axée sur les quartiers » a été appliquée. Après la modification de la loi SUWI, entrée en vigueur le 1 janvier 2014, cinq projets SyRI ont été réalisés, notamment dans des quartiers de Rotterdam, Capelle aan den IJssel et Haarlem. L’État a refusé de divulguer le modèle de risque et les indicateurs, faisant valoir que les citoyens pourraient autrement adapter leur comportement.

Le modèle néerlandais d’allocations pour garde d’enfants est examiné dans une étude distincte : l’autorité chargée de la protection des données a constaté que la nationalité était utilisée comme indicateur et a infligé une amende de €2.75 million à l’administration fiscale en 2021.

Danemark. Amnesty rapporte que Udbetaling Danmark (créé par une loi en 2012) et la société de retraite ATP, qui administre les prestations pour son compte, gèrent une unité conjointe de données qui fusionne des registres concernant des millions de résidents et utilise des modèles de profilage pour établir des listes de personnes signalées en vue d’une enquête ; en 2019, l’agence aurait utilisé environ 60 modèles d’IA et d’apprentissage automatique. Un modèle, « Model Abroad », évalue les « liens avec l’étranger » des bénéficiaires et donne la priorité aux personnes ayant des « liens de force moyenne ou forte » avec des pays hors EEE pour faire l’objet d’une enquête.

Royaume-Uni. The Guardian a rapporté en décembre 2024 qu’une « analyse d’équité » du DWP, réalisée en février 2024, avait relevé un « écart statistiquement significatif dans les résultats » du modèle d’apprentissage automatique utilisé pour examiner les demandes d’avances sur le crédit universel, selon l’âge, le handicap, l’état matrimonial et la nationalité ; aucune analyse d’équité n’avait encore été réalisée pour la race, le sexe, l’orientation sexuelle, la religion, la grossesse ou la réassignation de genre.

Constat 2 : variables de substitution et qualité des données

Caractéristiques protégées et variables de substitution

Le tribunal chargé de l’affaire SyRI a conclu que l’utilisation du modèle de risque « comporte le risque que des effets discriminatoires — intentionnels ou non — se produisent », et a relevé l’argument des requérants selon lequel le ciblage des quartiers défavorisés « augmente les chances de découvrir des irrégularités dans ces zones », ce qui « confirme à son tour l’image d’un quartier comme zone à problèmes ». Le rapport d’Amnesty sur le Danemark souligne le même problème concernant les mesures relatives : les « liens de force moyenne ou forte » sont définis par rapport aux autres bénéficiaires, et non selon des critères objectifs.

Les mauvaises données comme décision

La Serbie montre qu’un préjudice ne nécessite pas de modèles sophistiqués. Amnesty documente le cas d’une femme qui a perdu son aide sociale en février 2023 après qu’un groupe de défense des droits humains a versé 20,000 dinars d’aide pour contribuer aux frais des funérailles de sa fille, somme que le registre a signalée comme un revenu ; ainsi que celui de familles roms qui ont perdu leur aide parce que des voitures vendues à la ferraille des années auparavant étaient toujours immatriculées à leur nom. Le calcul de moyennes de Robodebt reposait sur une hypothèse tout aussi simple. Dans les deux cas, l’erreur consistait à traiter un artefact de données comme un fait concernant la vie d’une personne.

Constat 3 : les limites de l’humain dans la boucle

La plupart de ces systèmes faisaient intervenir un humain à un moment du processus. Cela n’a pas empêché les préjudices :

• Pas de motifs, pas de jugement. Amnesty rapporte que les fonctionnaires néerlandais chargés d’examiner les demandes d’allocations pour garde d’enfants à haut risque « ne recevaient aucune information sur les raisons pour lesquelles le système avait attribué un score de risque élevé à la demande ».
• Déférence. Des demandeurs serbes ont déclaré à Amnesty que les travailleurs sociaux attribuaient les décisions au « nouveau système » et affirmaient ne pas pouvoir passer outre les notifications ; « Je ne peux rien faire, c’est le nouveau système de Belgrade qui a décidé » était la réponse la plus fréquemment documentée.
• Assurance fondée sur une formalité. À la mi-2024, le DWP avait déclaré que le modèle ne « soulevait pas de préoccupations immédiates en matière de discrimination », notamment parce que « la décision finale quant au versement ou non d’une prestation sociale à une personne reste prise par un humain ».

Les données expérimentales nuancent les explications simplistes. Alon-Barkat et Busuioc ont mené trois expériences aux Pays-Bas (avec 605, 904 et 1,345 participants, la dernière portant sur un échantillon de fonctionnaires). Ils n’ont trouvé aucun indice d’un biais d’automatisation généralisé — les participants ne suivaient pas davantage les recommandations algorithmiques que celles d’experts humains équivalentes —, mais ont constaté une adhésion sélective : dans la deuxième étude, les participants étaient plus susceptibles de suivre les recommandations conformes aux stéréotypes de groupe. Ce schéma n’a pas été observé chez les fonctionnaires interrogés peu après le scandale des allocations pour garde d’enfants, ce que les auteurs attribuent à une sensibilisation accrue. Ben Green soutient plus largement que les politiques exigeant une supervision humaine des algorithmes gouvernementaux reposent sur une prémisse fragile — les personnes ne sont pas douées pour superviser les algorithmes — et peuvent légitimer des systèmes défaillants ; il propose plutôt que les organismes justifient le recours aux algorithmes et que la supervision soit institutionnelle plutôt qu’individuelle.

Constat 4 : comment les systèmes ont été révélés et arrêtés

Tribunaux : SyRI, précédent de référence

L’arrêt SyRI constitue le résultat juridique le plus clair. Le tribunal a examiné la législation relative à SyRI au regard de l’article 8, paragraphe 2, de la Convention européenne des droits de l’homme, qui exige un « juste équilibre » entre l’intérêt public poursuivi et l’ingérence dans la vie privée. Il a estimé que la législation « ne comporte pas de garanties suffisantes pour protéger le droit au respect de la vie privée face aux indicateurs de risque et au modèle de risque », qu’il était impossible de vérifier comment avait été généré le « simple arbre de décision » du modèle et qu’il était donc « difficile de comprendre comment une personne concernée pourrait se défendre contre le fait qu’un rapport de risque a été établi à son sujet ». La transparence était, autrement dit, considérée comme une condition préalable à la contestabilité. Le Rapporteur spécial des Nations unies sur l’extrême pauvreté et les droits de l’homme, Philip Alston, avait présenté un mémoire d’amicus curiae à l’appui de la cause des demandeurs le 26 septembre 2019, et l’arrêt indique que les demandeurs étaient soutenus dans la procédure par la fédération syndicale FNV et par le Rapporteur spécial (par. 6.92).

Organismes de réglementation et enquêtes

Aux Pays-Bas, c’est l’autorité de protection des données qui a transformé un scandale politique en une conclusion juridique sur le modèle lui-même, tandis qu’une enquête parlementaire a imposé une responsabilité politique. En Australie, en revanche, la Commission royale a conclu que le Médiateur, le commissaire à l’information et le Tribunal des recours administratifs n’avaient guère constitué un « obstacle à la poursuite du dispositif » ; ce sont les procédures judiciaires et un changement de gouvernement qui ont produit cet effet.

Recours individuels

Les recours individuels ont aidé des personnes, mais ont rarement mis fin aux systèmes. Au Michigan, les recours accueillis ont constitué le signal qui a révélé MiDAS. En Serbie, Amnesty décrit le cas d’une femme qui a obtenu sa réintégration avec l’aide juridique gratuite à sa deuxième tentative, après avoir été privée de soutien pendant plusieurs mois. La Commission royale sur Robodebt a conclu que le système des tribunaux était inefficace en tant que mécanisme de contrôle systémique.

Ce que les éléments de preuve ne montrent pas

• Cela ne montre pas que l’application automatisée des règles ne peut pas fonctionner. Une mise en correspondance bien conçue des données peut réduire les erreurs sans entraîner ces préjudices ; ces systèmes font rarement l’objet de décisions de justice et sont donc sous-représentés ici.
• Cela ne montre pas que l’apprentissage automatique constitue le principal danger. Les systèmes les plus préjudiciables — MiDAS et Robodebt — reposaient sur des règles et des calculs arithmétiques. L’opacité, les variables de substitution et l’inversion de la charge de la preuve comptent davantage que le type de modèle.
• Cela ne fournit pas de taux d’erreur comparables. Seul MiDAS dispose d’un chiffre publié concernant les erreurs de décisions automatisées, tiré d’un examen rapporté de seconde main.
• Cela ne tranche pas les cas danois et britannique. Les deux gouvernements contestent les conclusions des critiques ; les documents disponibles sont partiels et caviardés.
• Cela ne montre pas qu’une seule mesure de protection suffit. Dans chaque cas, plusieurs mesures de protection faisaient simultanément défaut.

Implications pour la conception des institutions

1. Ne jamais considérer une mise en correspondance de données ou un score comme une preuve. Toute conclusion défavorable devrait reposer sur des éléments susceptibles de convaincre un examinateur indépendant ; la charge de la preuve devrait incomber à l’autorité.
2. Séparer le ciblage des sanctions. Le fait d’être signalé pour un contrôle ne devrait pas entraîner la suspension des prestations ni l’attribution d’étiquettes sans éléments indépendants et sans possibilité de répondre.
3. Publier les fondements du modèle et son profil d’erreur. SyRI montre que les tribunaux considéreront les modèles non divulgués comme incompatibles avec la protection juridique. Les préoccupations liées au « contournement » peuvent être prises en compte en divulguant la logique et les résultats de validation, sans révéler les seuils opérationnels.
4. Rechercher les variables de substitution, et pas seulement les attributs protégés, et tester toutes les caractéristiques protégées avant le déploiement — le DWP n’en avait testé que certaines.
5. Donner aux personnes chargées du réexamen des motifs et des pouvoirs. Une personne chargée du réexamen a besoin de connaître les facteurs à l’origine d’un signalement, de disposer du temps nécessaire pour mener une enquête et d’avoir le pouvoir explicite de passer outre, ainsi que d’une formation visant à éviter une confiance excessive dans le système.
6. Mettre en place des mécanismes de déclenchement systémique. Lorsque les recours contre un système aboutissent à un taux inhabituellement élevé, un médiateur ou un régulateur devrait pouvoir suspendre le système dans l’attente d’un examen.
7. Comptabiliser l’ensemble des coûts. Les évaluations devraient comptabiliser les dettes indues, les remboursements, les frais de justice et les indemnisations, et pas seulement les sommes recouvrées.

Questions ouvertes

• Combien de systèmes automatisés de contrôle des prestations sont utilisés sans aucun examen externe, et comment des registres pourraient-ils les rendre visibles ?
• La classification, par le règlement européen sur l’IA, de l’accès aux services publics essentiels comme un domaine à haut risque, ainsi que son interdiction de la notation sociale, modifieront-elles des pratiques comme celles du Danemark — et qui tranchera les différends de classification ?
• Comment rendre les tests d’équité pertinents lorsque les gouvernements caviardent les groupes concernés ?
• Les recours systémiques, tels que les actions collectives et les amendes des régulateurs, dissuadent-ils les préjudices futurs ou servent-ils principalement à réparer les préjudices passés ?
• À quoi ressemblerait un modèle positif de référence — un système automatisé de contrôle dont les taux d’erreur, les données sur les contestations et les audits indépendants seraient publiés ?

Sources

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24 janvier 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6 décembre 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, Paris.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26 septembre 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30 janvier 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20 octobre 2022.