Algocratie

L’algocratie (le gouvernement par algorithme) désigne des systèmes dans lesquels des logiciels, plutôt que des ordres hiérarchiques ou des règles écrites appliquées par des humains, organisent et contraignent les comportements. Une règle n’est plus quelque chose qu’un fonctionnaire interprète ; elle est intégrée au code, qui détermine les options disponibles, les données collectées et le résultat obtenu.

Le terme a été forgé par le sociologue A. Aneesh pour décrire la manière dont le travail logiciel réparti à l’échelle mondiale était contrôlé par des plateformes de programmation plutôt que par une supervision bureaucratique. Des philosophes et des juristes l’ont ensuite employé à propos de la prise de décision publique : admissibilité aux prestations sociales, détection des fraudes, maintien de l’ordre, immigration, recouvrement de l’impôt et attribution des services publics.

L’algocratie diffère de la technocratie. La technocratie est le gouvernement par des experts humains ; l’algocratie est le gouvernement par l’intermédiaire de systèmes dont la logique peut être opaque, même pour ceux qui les déploient. Elle diffère de l’IA au sein des administrations publiques par son accent : la préoccupation ne porte pas sur la technologie en tant que telle, mais sur l’évolution des modalités d’exercice et de contestation de l’autorité.

Aneesh : de la bureaucratie au code

Aneesh a opposé trois modes d’organisation : bureaucratique (règles et hiérarchie), panoptique (visibilité et surveillance) et algocratique (environnements programmés qui façonnent directement l’action). Dans un système algocratique, un travailleur ou un citoyen n’obéit pas à une règle ; il ne peut tout simplement rien faire que le système n’autorise pas. Le contrôle est intégré à l’architecture.

Danaher : la menace de l’algocratie

John Danaher a soutenu que les systèmes de décision algorithmique menacent la légitimité des décisions publiques. Selon de nombreuses conceptions, des procédures légitimes exigent que les personnes concernées puissent comprendre le raisonnement qui sous-tend les décisions et y participer. Si les algorithmes deviennent plus précis que les humains, mais moins compréhensibles, les sociétés sont confrontées à un dilemme : accepter des décisions opaques mais meilleures, ou exiger des décisions compréhensibles mais moins bonnes. Danaher a examiné des stratégies de résistance et d’adaptation, notamment la supervision humaine et le renforcement de la compréhension humaine, et a douté qu’aucune d’elles puisse résoudre entièrement le problème.

Régulation algorithmique

Karen Yeung a défini la régulation algorithmique comme des systèmes de prise de décision qui régulent un domaine d’activité en générant et en analysant continuellement des données afin de gérer les risques ou de modifier les comportements. Elle a distingué les systèmes réactifs des systèmes préventifs et montré comment ils font passer la régulation des règles à la rétroaction en temps réel, souvent sans les garanties procédurales du droit administratif.

Le code fait loi

L’argument de Lawrence Lessig selon lequel l’architecture logicielle régule autant que le droit constitue un précurseur : si le « code » du cyberespace détermine ce qui est possible, ceux qui l’écrivent exercent une forme de gouvernance. Les projets de chaînes de blocs vont plus loin en considérant les contrats intelligents comme des règles auto-exécutoires.

• Pays-Bas, SyRI : le système néerlandais d’indication des risques (System Risk Indication) reliait des bases de données afin de signaler des personnes en vue d’une enquête pour fraude aux prestations sociales. Le 5 février 2020, le tribunal de district de La Haye a jugé que la législation qui l’autorisait violait l’article 8 de la Convention européenne des droits de l’homme (respect de la vie privée), invoquant un manque de transparence et de garanties.
• Pays-Bas, aides à la garde d’enfants : un rapport d’enquête parlementaire, Ongekend onrecht (« Injustice inouïe », décembre 2020), a conclu que l’administration fiscale avait à tort traité des milliers de parents comme des fraudeurs, leur nationalité ayant été utilisée dans l’évaluation des risques ; le troisième gouvernement Rutte a démissionné en janvier 2021.
• Australie, Robodebt : de juillet 2015 environ à novembre 2019, un dispositif automatisé a calculé des moyennes annuelles à partir des données fiscales pour établir des dettes au titre des prestations sociales. Dans le cadre d’une action collective, le Commonwealth a reconnu que les dettes fondées uniquement sur le calcul de moyennes de revenus n’avaient aucun fondement juridique valable, et la Cour fédérale a approuvé un règlement de 112 millions de dollars le 11 juin 2021 (Prygodicz v Commonwealth (No 2) [2021] FCA 634). Une commission royale a remis son rapport le 7 juillet 2023, formulant de sévères conclusions sur la conception et l’administration du dispositif.
• États-Unis : Virginia Eubanks a documenté des systèmes automatisés d’évaluation de l’admissibilité et des risques en matière de protection de l’enfance dans l’Indiana, à Los Angeles et dans le comté d’Allegheny, soutenant qu’ils concentrent la surveillance sur les personnes pauvres.
• Albanie : en 2025, le gouvernement a présenté un système d’IA nommé Diella comme une « ministre » chargée des marchés publics, revendication symbolique qui montre comment l’autorité algorithmique est désormais formulée dans le discours politique.
• Réglementation : le règlement de l’UE sur l’intelligence artificielle (règlement (UE) 2024/1689) classe comme à haut risque les systèmes d’IA utilisés pour évaluer l’admissibilité aux prestations et aux services publics, et impose une gestion des risques, une supervision humaine et une documentation.

• Nouveauté exagérée : les administrations ont toujours utilisé des formulaires, des scores et des listes de contrôle ; les critiques soutiennent que l’algocratie constitue une intensification de l’administration fondée sur des règles plutôt qu’un nouveau régime.
• La précision n’est pas synonyme de neutralité : les données d’entraînement encodent les décisions passées, de sorte que les systèmes peuvent reproduire la discrimination même lorsque les caractéristiques protégées ne sont pas utilisées comme données d’entrée.
• Biais d’automatisation : les évaluateurs humains ont tendance à s’en remettre aux résultats des machines ; les garanties reposant sur la présence d’un « humain dans la boucle » peuvent donc être purement formelles.
• Erreurs à grande échelle : une règle défectueuse appliquée automatiquement produit des erreurs massives avant que quiconque ne s’en aperçoive, comme l’a montré Robodebt.
• Possibilité de contestation : les personnes concernées ne peuvent souvent pas consulter les données ni la logique utilisées à leur encontre, ce qui compromet leur droit de recours.
• Argument optimiste : les défenseurs soutiennent que des algorithmes transparents et soumis à des audits peuvent être plus cohérents et moins biaisés que des fonctionnaires disposant d’un pouvoir discrétionnaire, et que la comparaison pertinente est avec des décisions humaines imparfaites, non avec un idéal.

Les données issues de l’administration des prestations sociales et de l’impôt montrent que les systèmes algocratiques peuvent causer des préjudices à grande échelle lorsqu’ils combinent une logique opaque, de faibles garanties juridiques et une présomption de fraude. Les tribunaux et les législateurs ont commencé à réagir en instaurant des droits à l’explication et à un examen humain, des évaluations d’impact et une réglementation fondée sur les risques. La possibilité de légitimer l’algocratie dépend de choix de conception qui sont politiques, et non techniques : ce qui est automatisé, qui peut procéder à un audit, comment les erreurs sont corrigées et qui supporte le coût des erreurs.

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Virginia Eubanks, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)