Polity Atlas
Recherche · IA et avenir de la gouvernanceÉtabli

Contester les décisions automatisées : explication, réexamen humain et recours

Comment le RGPD, les arrêts de la CJUE dans les affaires SCHUFA et Dun & Bradstreet Austria, le règlement européen sur l’IA, la convention du Conseil de l’Europe sur l’IA, les réformes britanniques de 2025 et les règles américaines permettent aux personnes de contester les décisions automatisées — et ce que les données montrent sur l’efficacité de ces mécanismes en pratique.

Éditeurs de Polity AtlasPublié le 24 oct. 2026 · 23 min de lecture

Lorsqu’un organisme public ou une entreprise utilise un système automatisé pour refuser une prestation, signaler une personne en vue d’une enquête ou rejeter une demande de contrat, que peut réellement faire la personne concernée ? Le droit prévoit trois outils distincts : un droit à une explication (pour savoir pourquoi), un droit à un réexamen humain (pour qu’une personne réexamine la décision) et un droit de recours (pour saisir un organisme indépendant). Entre 2023 et 2026, ces outils ont considérablement évolué. Dans l’arrêt SCHUFA (C‑634/21, 2023), la Cour de justice de l’Union européenne (CJUE) a jugé qu’un score de crédit pouvait lui-même constituer une décision automatisée et, dans l’arrêt Dun & Bradstreet Austria (C‑203/22, 2025), que les personnes avaient droit à une explication de « la procédure et des principes effectivement appliqués » ; le règlement européen sur l’IA a ajouté un droit à une explication pour les décisions fondées sur des systèmes à haut risque ; le Conseil de l’Europe a adopté le premier traité contraignant sur l’IA ; le Royaume-Uni a réécrit ses règles relatives aux décisions automatisées ; et des règles fédérales et étatiques américaines ont instauré des obligations de recours et de réexamen humain. Cette étude cartographie ces droits, les compare et examine ce que les éléments tirés de cas réels révèlent sur les mécanismes qui aident les personnes en pratique.

Principales conclusions

  • L’UE dispose désormais d’une norme d’explication applicable en pratique. Dans l’arrêt Dun & Bradstreet Austria, la CJUE a jugé que les responsables du traitement doivent décrire la procédure et les principes effectivement appliqués afin que les personnes puissent comprendre quelles données ont été utilisées et comment ; communiquer simplement un algorithme ne suffit pas, et les objections fondées sur le secret des affaires doivent être soumises à un tribunal ou à une autorité de contrôle, qui en appréciera la portée.
  • La notion de « décision automatisée » s’est élargie. Dans l’arrêt SCHUFA, la Cour a jugé qu’un score constitue une décision individuelle automatisée au sens de l’article 22 du RGPD lorsque le client lui attribue « un rôle déterminant ».
  • L’article 86 du règlement sur l’IA est plus limité qu’il n’y paraît. Il couvre les décisions fondées sur des systèmes à haut risque visés à l’annexe III ayant des effets juridiques ou des effets d’importance similaire, ne s’applique que lorsque le droit de l’Union ne prévoit pas déjà ce droit et dépend d’obligations relatives aux systèmes à haut risque dont l’entrée en vigueur a été reportée au 2 décembre 2027 par le Digital Omnibus de 2026.
  • Les juridictions convergent vers un ensemble commun de garanties — notification, motifs, intervention humaine, contestation — mais divergent sur la question de savoir si les décisions exclusivement automatisées sont interdites par principe (UE) ou autorisées sous réserve de garanties (Royaume-Uni après 2025, Colorado, agences fédérales américaines).
  • En pratique, les droits individuels ont rarement mis fin à des systèmes préjudiciables. Les cas bien documentés — SyRI, Robodebt, le modèle néerlandais d’attribution des allocations pour la garde d’enfants, MiDAS — ont été interrompus à la suite de recours stratégiques en justice, d’actions collectives, d’interventions des autorités de régulation et d’enquêtes ; les recours individuels ont aidé les personnes concernées, mais lentement.
  • La qualité du réexamen humain dépend des informations dont dispose la personne chargée du réexamen, du temps dont elle dispose et de son pouvoir d’action. Des données provenant des Pays-Bas et de Serbie montrent que des examinateurs s’en remettent à des systèmes qu’ils ne pouvaient pas interroger.

Question de recherche et champ de l’étude

L’étude examine deux questions liées : quels droits à une explication, à un réexamen humain et à un recours existent désormais pour les personnes soumises à des décisions automatisées, et que montrent les données sur l’efficacité de ces droits ? Elle couvre le droit de l’UE (RGPD, jurisprudence de la CJUE, règlement sur l’IA), la Convention-cadre du Conseil de l’Europe, le Royaume-Uni ainsi que les mesures fédérales et étatiques américaines, et mentionne la France lorsque l’OCDE documente ses règles. Elle porte principalement sur les décisions du secteur public, mais inclut la notation de crédit privée, car les principaux arrêts de la CJUE concernent cette pratique et leur raisonnement s’applique aux responsables du traitement du secteur public.

Contexte

Trois droits, trois fonctions

DroitQuestion à laquelle il répondForme juridique courantePrincipale faiblesse
ExplicationPourquoi cette décision a-t-elle été prise à mon sujet ?Accès à des « informations utiles sur la logique sous-jacente » ; exposé des motifsPeut être formelle, générique ou empêchée par le secret
Réexamen humainUne personne examinera-t-elle à nouveau la décision ?Droit d’« obtenir une intervention humaine »La personne chargée du réexamen peut manquer d’informations, de temps ou d’autorité
RecoursUn organe indépendant peut-il annuler la décision ?Recours administratif, tribunal, juridiction, plainte auprès d’un régulateurLent, coûteux, individualisé

Ces trois droits sont interdépendants. Sans explication, un examinateur ou un tribunal est appelé à vérifier un résultat sans en connaître les motifs ; sans recours indépendant, le réexamen humain peut devenir une formalité au sein de la même organisation.

Le débat universitaire

Peu après l’adoption du RGPD, Wachter, Mittelstadt et Floridi (2017) ont soutenu qu’un « droit à l’explication » juridiquement contraignant des décisions automatisées individuelles n’existait pas dans le règlement, qui prévoyait tout au plus un droit d’être informé sur le fonctionnement du système. Edwards et Veale (2017) ont soutenu que, quelle qu’en soit la portée, un droit à l’explication n’était « probablement pas le recours que vous recherchez », car il fait peser la charge sur les individus et parce qu’il est difficile de fournir des explications utiles sur des modèles complexes ; ils ont évoqué d’autres outils, tels que les évaluations d’impact. Wachter, Mittelstadt et Russell (2018) ont proposé des explications contrefactuelles — des énoncés indiquant ce qui aurait dû être différent pour aboutir à un résultat différent — afin d’informer les personnes sans dévoiler le modèle. L’arrêt de la CJUE de 2025 peut être interprété comme adoptant une version de cette idée.

Méthode et sources

L’étude s’appuie sur des textes juridiques primaires (RGPD, UK Data (Use and Access) Act 2025, règlement sur l’IA tel que modifié, Convention du Conseil de l’Europe, mémorandum OMB M‑25‑21, lois du Colorado, règlements de Californie), sur les communiqués de presse officiels de la CJUE concernant SCHUFA et Dun & Bradstreet Austria, ainsi que sur des travaux évalués par les pairs. Les éléments relatifs aux pratiques proviennent des études de cas de Polity Atlas dans son étude comparative du contrôle automatisé de l’accès aux prestations sociales et de ses études du scandale néerlandais des allocations pour la garde d’enfants et de Robodebt.

Limites. Les arrêts de la CJUE sont résumés à partir des communiqués de presse de la Cour, que celle-ci qualifie de non officiels ; il convient de consulter les textes intégraux pour plus de détails. Plusieurs régimes sont récents ou ne sont pas encore pleinement applicables, de sorte qu’il existe peu d’éléments concernant leurs effets. Les sites web du Conseil de l’Europe n’étaient pas accessibles au moment de la vérification de cette étude ; les articles de la Convention ont donc été consultés dans le texte anglais faisant foi publié dans la base de données des traités du gouvernement néerlandais, et son statut actuel de ratification n’est pas indiqué ici.

Constat 1 : le droit européen de la protection des données après SCHUFA et Dun & Bradstreet

Le cadre de base : les articles 22 et 15 du RGPD

L’article 22(1) du RGPD confère à une personne « le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques la concernant ou l’affectant de manière significative de façon similaire ». Des exceptions existent en matière de contrat, de consentement explicite et de décisions autorisées par le droit de l’Union ou des États membres, qui prévoit des garanties appropriées. Lorsque les exceptions relatives au contrat ou au consentement s’appliquent, l’article 22(3) exige « au moins le droit d’obtenir une intervention humaine de la part du responsable du traitement, d’exprimer son point de vue et de contester la décision ». L’article 15(1)(h) confère un droit d’accès à « des informations utiles sur la logique sous-jacente » à ces décisions.

SCHUFA (C‑634/21), 7 décembre 2023

L’agence de crédit allemande SCHUFA produisait des scores utilisés par les banques. La Cour a estimé que la notation « doit être considérée comme une “décision individuelle automatisée” interdite en principe par le RGPD, dans la mesure où les clients de SCHUFA, tels que les banques, lui attribuent un rôle déterminant dans l’octroi d’un crédit ». La portée est structurelle : le droit s’applique à l’organisme qui produit le score déterminant, et pas seulement à celui qui prend formellement la décision. Pour le secteur public, cela laisse entendre qu’un score de risque qui détermine dans les faits si une demande fait l’objet d’une enquête ou est rejetée peut lui-même relever de l’article 22, même si un fonctionnaire signe la décision.

Dun & Bradstreet Austria (C‑203/22), 27 février 2025

Un opérateur de téléphonie mobile a refusé un contrat à un client — avec un paiement mensuel de €10 — en raison d’une évaluation automatisée de sa solvabilité effectuée par Dun & Bradstreet. Un tribunal autrichien avait déjà estimé que l’entreprise n’avait pas fourni d’« informations utiles sur la logique sous-jacente ». Saisie d’une question préjudicielle portant sur la mise en œuvre, la Cour a jugé que :

  • le responsable du traitement doit « décrire la procédure et les principes effectivement appliqués de telle manière que la personne concernée puisse comprendre quelles données à caractère personnel la concernant ont été utilisées et comment elles l’ont été » ;
  • il « pourrait notamment être approprié d’informer la personne concernée de la mesure dans laquelle une variation des données à caractère personnel prises en compte aurait conduit à un résultat différent » — une explication de type contrefactuel ;
  • « la simple communication d’un algorithme ne constitue pas une explication suffisamment concise et intelligible » ;
  • lorsque le responsable du traitement affirme que les informations contiennent des données de tiers ou des secrets d’affaires, il doit communiquer ces informations à l’autorité de contrôle compétente ou au tribunal, qui met en balance les intérêts ; une règle nationale excluant de manière générale l’accès dès lors que des secrets d’affaires sont en jeu est incompatible avec le droit de l’Union.

Le titre même du communiqué de la Cour indiquait que « l’explication fournie doit permettre à la personne concernée de comprendre et de contester la décision automatisée ». L’explication est donc définie par sa fonction dans la contestation.

Constat 2 : le règlement européen sur l’IA

Article 86 : un droit à l’explication pour les décisions à haut risque

L’article 86(1) de l’AI Act accorde à « toute personne concernée faisant l’objet d’une décision prise par le déployeur sur la base du résultat fourni par un système d’IA à haut risque figurant à l’annexe III », à l’exception des systèmes visés au point 2 de cette annexe (infrastructures critiques), et qui produit des effets juridiques ou l’affecte de manière tout aussi significative d’une façon qu’elle estime préjudiciable à sa santé, à sa sécurité ou à ses droits fondamentaux, le droit d’obtenir « des explications claires et significatives sur le rôle du système d’IA dans la procédure décisionnelle et les principaux éléments de la décision prise ». L’article 86(3) précise que l’article s’applique « uniquement dans la mesure où le droit visé au paragraphe 1 n’est pas prévu par ailleurs par le droit de l’Union » — ainsi, lorsque le RGPD prévoit déjà une explication, c’est le RGPD qui régit la situation.

Calendrier après le Digital Omnibus

La date générale d’application de l’AI Act est le 2 août 2026. Toutefois, le règlement (UE) 2026/1744 (le Digital Omnibus sur l’IA) a modifié l’article 113 de sorte que le chapitre III, sections 1 à 3 — les principales obligations applicables aux systèmes à haut risque — s’applique à compter du 2 décembre 2027 pour les systèmes de l’annexe III et du 2 août 2028 pour les systèmes visés à l’annexe I. Comme l’article 86 se rapporte aux systèmes d’IA à haut risque de l’annexe III, son effet pratique avant l’application du régime relatif aux systèmes à haut risque demeure incertain ; la manière dont les autorités et les tribunaux traiteront la période intermédiaire est une question ouverte.

Autres voies prévues par l’AI Act

La loi permet également à toute personne de déposer une plainte auprès d’une autorité de surveillance du marché, exige des déployeurs de systèmes à haut risque qu’ils les utilisent sous contrôle humain et impose aux déployeurs relevant du droit public de certains systèmes de l’annexe III de réaliser une évaluation de l’impact sur les droits fondamentaux. Il s’agit principalement d’obligations ex ante ; l’article 86 constitue le principal recours individuel.

Constat 3 : la Convention-cadre du Conseil de l’Europe

La Convention-cadre sur l’intelligence artificielle et les droits de l’homme, la démocratie et l’État de droit (CETS No. 225) a été ouverte à la signature le 5 septembre 2024 à Vilnius. Le chapitre IV porte sur les recours. L’article 14 exige de chaque partie, « dans la mesure où des recours sont requis par ses obligations internationales et conformément à son système juridique interne », qu’elle garantisse des « recours accessibles et efficaces » en cas de violations des droits de l’homme résultant de systèmes d’IA, notamment en prenant des mesures pour documenter les informations pertinentes sur les systèmes susceptibles d’avoir des effets importants sur les droits de l’homme et, le cas échéant, les mettre à la disposition des personnes concernées ; en veillant à ce que ces informations soient « suffisantes pour permettre aux personnes concernées de contester la ou les décisions » prises par le système ou fondées en grande partie sur celui-ci ; et en garantissant « une possibilité effective pour les personnes concernées de déposer une plainte auprès des autorités compétentes ». L’article 15 exige des garanties procédurales effectives lorsqu’un système d’IA « a un impact significatif sur la jouissance des droits de l’homme » et demande aux parties de « s’efforcer de veiller » à ce que les personnes soient informées qu’elles interagissent avec un système d’IA. Les obligations sont formulées de manière générale, laissant aux parties une marge de manœuvre quant à leur mise en œuvre, et ne lient que les parties : en vertu de l’article 30(3), la Convention entre en vigueur trois mois après sa ratification par cinq signataires, dont au moins trois États membres du Conseil de l’Europe.

Constat 4 : le Royaume-Uni après 2025

La loi de 2025 sur les données (utilisation et accès), qui a reçu la sanction royale le 19 juin 2025, a remplacé l’article 22 du RGPD britannique par de nouveaux articles 22A–22D. Ce changement d’approche est significatif :

  • une décision est « fondée exclusivement sur un traitement automatisé s’il n’y a pas d’intervention humaine significative dans la prise de décision », et elle est « significative » si elle produit un effet juridique ou un effet d’importance similaire ;
  • les décisions significatives prises exclusivement de manière automatisée sont restreintes principalement lorsqu’elles reposent sur des données relevant de catégories particulières — elles ne sont autorisées qu’avec un consentement explicite, ou lorsque la décision est nécessaire à l’exécution d’un contrat ou exigée ou autorisée par la loi et que la condition d’intérêt public substantiel prévue à l’article 9(2)(g) s’applique — ou sur le nouveau fondement des « intérêts légitimes reconnus », plutôt que d’être interdites par principe ;
  • lorsque de telles décisions sont prises, les responsables du traitement doivent prévoir des garanties qui « fournissent à la personne concernée des informations sur les décisions », « permettent à la personne concernée de présenter des observations », « permettent à la personne concernée d’obtenir une intervention humaine » et « permettent à la personne concernée de contester ces décisions » ;
  • le secrétaire d’État peut définir par voie réglementaire ce qui constitue une intervention humaine significative et des effets d’importance similaire.

Le Royaume-Uni est ainsi passé d’un modèle d’interdiction assortie d’exceptions à un modèle d’autorisation assortie de garanties, tout en maintenant les quatre garanties fondamentales.

Constat 5 : les États-Unis

Il n’existe pas de droit fédéral général à une explication ou à un recours concernant les décisions automatisées ; le régime est plutôt fragmenté :

  • Agences fédérales. Le mémorandum M‑25‑21 de l’OMB (3 avril 2025), qui a abrogé et remplacé le M‑24‑10, impose aux agences d’appliquer, dans un délai de 365 jours, des pratiques minimales de gestion des risques à l’« IA à fort impact », notamment de « veiller à ce que les personnes concernées par des décisions fondées sur l’IA aient accès en temps utile à un examen humain et la possibilité de faire appel de tout effet négatif, le cas échéant ». Les directeurs de l’IA des agences peuvent déroger aux pratiques minimales ; les dérogations sont suivies, signalées et résumées publiquement.
  • Colorado. Le SB24‑205, approuvé le 17 mai 2024, exige des déployeurs de systèmes d’IA à haut risque qui prennent des décisions lourdes de conséquences ou les influencent de manière substantielle qu’ils en avisent les consommateurs, leur donnent la possibilité de corriger des données à caractère personnel inexactes et leur offrent « la possibilité de faire appel d’une décision défavorable lourde de conséquences, au moyen d’un examen humain si cela est techniquement faisable ». Le SB25B‑004, signé le 28 août 2025, a reporté la date d’entrée en vigueur de ces exigences au 30 juin 2026. En mai 2026, la législature a changé de cap : le SB26‑189, signé le 14 mai 2026, abroge et réadopte les dispositions de 2024 sous la forme d’une loi sur les « technologies de prise de décision automatisée » utilisées pour influencer de manière substantielle des décisions lourdes de conséquences, avec des obligations prenant effet le 1 janvier 2027. Les déployeurs doivent fournir un avis au moment de l’interaction et, dans les 30 jours suivant une issue défavorable, une description en langage clair du rôle de la technologie ; les consommateurs peuvent demander leurs données, la correction de données factuellement inexactes ainsi qu’un « examen humain significatif et un réexamen » ; l’application de la loi relève du procureur général, sans création d’un nouveau droit d’action privé.
  • Californie. Les règlements de l’Agence californienne de protection de la vie privée, approuvés le 22 septembre 2025 et entrés en vigueur le 1 janvier 2026, avec des dates de mise en conformité échelonnées, mettent en œuvre le droit des consommateurs d’accéder aux informations relatives à l’utilisation, par les entreprises, de technologies de prise de décision automatisée et de s’y opposer.
  • New York. La loi locale 144 de 2021 interdit aux employeurs d’utiliser des outils automatisés de décision en matière d’emploi, sauf si ces outils ont fait l’objet d’un audit de biais au cours de l’année écoulée, si les résultats de l’audit sont publics et si les candidats en sont avisés — un modèle reposant sur l’audit et l’avis, sans droit individuel de recours.

Comparaison

RégimePortéeExplicationExamen humainRecours ou plainteStatut (octobre 2026)
RGPD, art. 22 / 15(1)(h)Décisions exclusivement automatisées produisant des effets juridiques ou des effets similaires (y compris les scores déterminants après SCHUFA)« Informations utiles sur la logique », selon D&B : procédure et principes effectivement appliquésOui, pour les exceptions relatives au contrat ou au consentementAutorité de contrôle et tribunauxEn vigueur
Règlement européen sur l’IA, art. 86Décisions fondées sur des systèmes à haut risque de l’annexe IIIRôle du système d’IA et principaux éléments de la décisionPar l’intermédiaire des obligations de contrôle incombant au déployeurPlainte au titre de la surveillance du marchéS’applique à partir d’août 2026 ; obligations relatives aux systèmes à haut risque à partir de décembre 2027
Convention du CdE CETS 225Systèmes d’IA ayant une incidence sur les droits de l’hommeInformations suffisantes pour contesterGaranties procéduralesPlainte auprès des autorités compétentesContraignante pour les parties qui l’ont ratifiée
RGPD du Royaume-Uni, art. 22A–22DDécisions importantes prises sans intervention humaine significativeInformations sur les décisionsOuiContestation ; régulateur et tribunauxPromulgué en 2025
OMB des États-Unis, M‑25‑21« IA à fort impact » au niveau fédéralNon traité dans cette étudeExamen humain en temps utilePossibilité de faire appel, « le cas échéant »En vigueur ; dérogation possible
Colorado SB24‑205 / SB26‑189Décisions lourdes de conséquences influencées de manière substantielle par une technologie de prise de décision automatiséeAvis ; description en langage clair après une décision défavorable ; rectification des donnéesExamen humain significatif et réexamen sur demandeMise en application par le procureur général ; aucun droit d’action privéAbrogé et réadopté en mai 2026 ; obligations à partir du 1 janvier 2027
France (CRPA, selon la description de l’OCDE)Décisions administratives fondées sur des algorithmesDivulgation et explication à la personne concernéeDroit administratif ordinaireVoies de recours administratives ordinairesEn vigueur

Constat 6 : ce qui fonctionne en pratique

Les voies systémiques sont plus efficaces que les voies individuelles

Dans les cas les mieux documentés, les interventions décisives ont été collectives ou institutionnelles :

  • Contentieux stratégique. Dans l’affaire SyRI, une coalition d’organisations de la société civile a obtenu un jugement selon lequel la législation enfreignait l’article 8 de la CEDH. Le tribunal a estimé que, sans accès au modèle de risque, il était « difficile de comprendre comment une personne concernée pourrait être en mesure de se défendre » — faisant de la transparence une condition préalable à la contestation individuelle.
  • Actions de groupe. L’action de groupe Robodebt a abouti à des règlements d’au moins 1,8 milliard de dollars (2021) et de 548,5 millions de dollars (approuvé en 2026).
  • Régulateurs. L’autorité néerlandaise de protection des données a jugé illégaux les indicateurs de risque fondés sur la nationalité et a infligé une amende à l’administration fiscale.
  • Enquêtes. La commission d’enquête parlementaire néerlandaise et la commission royale australienne ont imposé une reddition de comptes politique.

Les recours individuels ont surtout joué un rôle de signalement. Au Michigan, des avocats ont remarqué une hausse des recours pour fraude accueillis avant de découvrir que MiDAS rendait des conclusions sans examen humain. En Serbie, Amnesty a documenté le cas d’une femme qui a obtenu sa réintégration à la suite de son deuxième recours, avec l’aide juridictionnelle gratuite — après plusieurs mois sans revenu.

L’examen humain échoue en l’absence d’informations, de temps et de pouvoir

Les personnes chargées d’examiner les demandes d’allocations de garde d’enfants aux Pays-Bas n’étaient pas informées des raisons pour lesquelles une demande avait reçu un score de risque élevé. En Serbie, les travailleurs sociaux disaient aux demandeurs que « le nouveau système de Belgrade » avait pris la décision. Des données expérimentales provenant des Pays-Bas (Alon-Barkat et Busuioc, 2023) n’ont révélé aucun biais général en faveur de l’automatisation, mais ont mis en évidence une tendance à suivre les recommandations correspondant aux stéréotypes de groupe, tendance absente chez les fonctionnaires évalués peu après le scandale des allocations de garde d’enfants. Ben Green (2022) soutient que les exigences de contrôle humain peuvent donner un faux sentiment de sécurité et légitimer des systèmes défaillants, et propose que les organismes justifient plutôt le recours aux algorithmes et soumettent ceux-ci à un contrôle institutionnel.

Les explications sont utiles lorsqu’elles permettent d’agir

La norme établie par la CJUE dans l’arrêt Dun & Bradstreet — quelles données ont été utilisées, comment et quel changement aurait modifié le résultat — est le type d’explication qui permet à une personne de rectifier des données (comme dans les cas serbes de revenus mal enregistrés ou de voitures mises à la casse) ou de contester une méthode (comme la méthode de calcul par moyenne dans l’affaire Robodebt). Les descriptions génériques de « l’algorithme » ne le permettent pas.

Ce que les éléments probants ne montrent pas

  • Les effets des nouveaux régimes sont encore peu documentés. L’article 86, les articles 22A–22D du Royaume-Uni et le droit à un examen humain au Colorado sont trop récents pour disposer de données sur leurs résultats.
  • Ils ne montrent pas que les droits individuels sont inutiles. Ces droits sont des éléments nécessaires aux recours systémiques ; les coalitions de contentieux et les régulateurs s’appuient souvent sur des plaintes individuelles.
  • Ils ne montrent pas que des explications peuvent toujours être fournies. Pour certains modèles complexes, la fidélité des explications relatives aux résultats individuels reste techniquement contestée ; la norme de la CJUE évite cette difficulté en se concentrant sur les données et les principes effectivement appliqués.
  • Ils ne permettent pas d’établir la fréquence à laquelle les examinateurs passent outre les systèmes. Peu d’organismes publics publient les taux de dérogation ou les taux de succès des recours concernant les décisions automatisées.

Implications pour la conception institutionnelle

Les éléments probants étayent davantage une conception à plusieurs niveaux qu’un droit unique :

  1. Avis indiquant qu’un système automatisé a été utilisé, au moment de la décision.
  2. Motifs permettant d’agir : les données utilisées, la manière dont elles l’ont été et ce qui modifierait le résultat — selon la norme Dun & Bradstreet — les litiges relatifs au secret commercial étant tranchés par une autorité indépendante, et non par le responsable du traitement.
  3. Véritable examen humain : des examinateurs ayant accès aux motifs du système, disposant du temps nécessaire pour enquêter et habilités explicitement à passer outre ; publication des taux de dérogation.
  4. Recours indépendant suspendant le recouvrement ou les sanctions pendant son examen, avec une aide juridictionnelle pour les demandeurs à faible revenu.
  5. Mécanismes de déclenchement systémiques : transmission à un régulateur ou à un médiateur de statistiques agrégées sur les recours, pouvoir de suspendre un système et accès à des mécanismes de réparation collective.
  6. Registres et approbation juridique préalable au déploiement, afin que la légalité d’une méthode soit vérifiée avant son application à des milliers de personnes.

Questions en suspens

  • Comment les juridictions nationales appliqueront-elles le critère du « rôle déterminant » de SCHUFA aux scores de risque du secteur public qui servent officiellement uniquement à sélectionner les dossiers à examiner ?
  • Les autorités de contrôle élaboreront-elles des procédures pratiques pour mettre en balance les secrets d’affaires et les droits d’accès, comme l’exige Dun & Bradstreet ?
  • Comment l’article 86 s’appliquera-t-il avant décembre 2027, et les orientations de la Commission clarifieront-elles son articulation avec le RGPD ?
  • Le passage du Royaume-Uni à un modèle fondé sur l’autorisation assortie de garanties augmentera-t-il le nombre de décisions prises exclusivement par des moyens automatisés, et la notion d’« intervention humaine significative » sera-t-elle définie de manière stricte ?
  • Les dérogations fédérales américaines aux pratiques minimales seront-elles accordées avec parcimonie ou couramment, et les États convergeront-ils vers le modèle d’examen humain du Colorado ?

Sources

  1. Parlement européen et Conseil (2016). Regulation (EU) 2016/679 (General Data Protection Regulation), articles 15 et 22.
  2. Cour de justice de l’Union européenne (2023). Press release No 186/23: SCHUFA Holding (Scoring), C‑634/21, 7 décembre 2023.
  3. Cour de justice de l’Union européenne (2025). Press release No 22/25: Dun & Bradstreet Austria, C‑203/22, 27 février 2025.
  4. Parlement européen et Conseil (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act), article 86.
  5. Parlement européen et Conseil (2026). Regulation (EU) 2026/1744 (Digital Omnibus on AI).
  6. Conseil de l’Europe (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law (CETS No. 225).
  7. Parlement britannique (2025). Data (Use and Access) Act 2025, section 80.
  8. Office of Management and Budget (2025). Memorandum M‑25‑21: Accelerating Federal Use of AI through Innovation, Governance, and Public Trust.
  9. Assemblée générale du Colorado (2024). SB24‑205, Consumer Protections for Artificial Intelligence.
  10. Assemblée générale du Colorado (2025). SB25B‑004, Increase Transparency for Algorithmic Systems.
  11. California Privacy Protection Agency (2025). CCPA Updates, Cybersecurity Audits, Risk Assessments, ADMT and Insurance Regulations.
  12. Département de la protection des consommateurs et des travailleurs de la ville de New York. Automated Employment Decision Tools (Local Law 144 of 2021).
  13. OCDE (2026). Digital Government Outlook 2026, encadré 4.7.
  14. Wachter, S., Mittelstadt, B. et Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law 7(2) : 76–99.
  15. Edwards, L. et Veale, M. (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law & Technology Review 16(1) : 18–84.
  16. Wachter, S., Mittelstadt, B. et Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology 31(2).
  17. Rechtbank Den Haag (2020). SyRI judgment, ECLI:NL:RBDHA:2020:1878.
  18. Alon-Barkat, S. et Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making. JPART 33(1) : 153–169.
  19. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.
  20. Amnesty International (2023). Trapped by automation, EUR 70/7443/2023.
  21. Charette, R. N. (2018). Michigan's MiDAS Unemployment System. IEEE Spectrum.
  22. Assemblée générale du Colorado (2026). SB26‑189, Automated Decision-Making Technology.
  23. Conseil de l’Europe (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law — authentic English text, tel que publié dans la base de données des traités du gouvernement néerlandais.

Source originale: Court of Justice of the European Union