Algokratie

Algokratie (Herrschaft durch Algorithmen) bezeichnet Systeme, in denen Software Verhalten organisiert und einschränkt, statt dass dies durch hierarchische Anweisungen oder von Menschen angewandte schriftliche Regeln geschieht. Eine Regel ist nicht länger etwas, das eine Amtsperson auslegt; sie ist im Code verankert, der festlegt, welche Optionen verfügbar sind, welche Daten erhoben werden und welches Ergebnis folgt.

Der Begriff wurde vom Soziologen A. Aneesh geprägt, um zu beschreiben, wie global verteilte Softwarearbeit durch Programmierplattformen statt durch bürokratische Aufsicht kontrolliert wurde. Philosophen und Rechtswissenschaftler verwendeten ihn später für öffentliche Entscheidungsprozesse: Anspruchsberechtigung auf Sozialleistungen, Betrugserkennung, Polizeiarbeit, Einwanderung, Steuerdurchsetzung und die Zuweisung öffentlicher Dienstleistungen.

Algokratie unterscheidet sich von Technokratie. Technokratie ist Herrschaft durch menschliche Fachleute; Algokratie ist Herrschaft durch Systeme, deren Logik selbst denjenigen, die sie einsetzen, undurchsichtig sein kann. Sie unterscheidet sich von KI in der Regierung durch ihre Schwerpunktsetzung: Im Zentrum steht nicht die Technologie als solche, sondern der Wandel darin, wie Autorität ausgeübt und angefochten wird.

Aneesh: von der Bürokratie zum Code

Aneesh unterschied drei Organisationsformen: bürokratisch (Regeln und Hierarchie), panoptisch (Sichtbarkeit und Überwachung) und algokratisch (programmierte Umgebungen, die Handlungen unmittelbar prägen). In einem algokratischen System befolgt ein Arbeitnehmer oder Bürger keine Regel; vielmehr kann er schlicht nichts tun, was das System nicht zulässt. Die Kontrolle ist in die Architektur eingebaut.

Danaher: die Gefahr der Algokratie

John Danaher argumentierte, algorithmische Entscheidungssysteme bedrohten die Legitimität öffentlicher Entscheidungen. Legitimen Verfahren zufolge vieler Auffassungen müssen Betroffene die Entscheidungsgründe verstehen und sich an ihnen beteiligen können. Werden Algorithmen präziser als Menschen, aber weniger verständlich, stehen Gesellschaften vor einem Dilemma: undurchsichtige, aber bessere Entscheidungen akzeptieren oder auf verständlichen, aber schlechteren Entscheidungen bestehen. Danaher untersuchte Strategien des Widerstands und der Anpassung, darunter menschliche Aufsicht und die Förderung des menschlichen Verständnisses, und bezweifelte, dass eine dieser Strategien das Problem vollständig löst.

Algorithmische Regulierung

Karen Yeung definierte algorithmische Regulierung als Entscheidungssysteme, die einen Tätigkeitsbereich regulieren, indem sie fortlaufend Daten generieren und durchsuchen, um Risiken zu steuern oder Verhalten zu verändern. Sie unterschied zwischen reaktiven und präventiven Systemen und zeigte, wie diese die Regulierung von Regeln hin zu Echtzeit-Feedback verlagern, häufig ohne die Verfahrensgarantien des Verwaltungsrechts.

Code ist Gesetz

Lawrence Lessigs Argument, dass Softwarearchitektur ebenso regulierend wirkt wie das Recht, ist ein Vorläufer: Wenn der „Code“ des Cyberspace bestimmt, was möglich ist, üben diejenigen, die ihn schreiben, eine Form der Governance aus. Blockchain-Projekte führen dies weiter, indem sie Smart Contracts als sich selbst ausführende Regeln behandeln.

• Niederlande, SyRI: Das System Risk Indication der niederländischen Regierung verknüpfte Datenbanken, um Personen für Ermittlungen wegen Sozialleistungsbetrugs zu markieren. Am 5. Februar 2020 entschied das Bezirksgericht Den Haag, dass die Rechtsvorschriften, die das System autorisierten, gegen Artikel 8 der Europäischen Menschenrechtskonvention (Achtung des Privatlebens) verstießen; es verwies dabei auf unzureichende Transparenz und Schutzvorkehrungen.
• Niederlande, Kinderbetreuungsbeihilfen: Ein Bericht eines parlamentarischen Untersuchungsausschusses, Ongekend onrecht ("Beispielloses Unrecht", Dezember 2020), stellte fest, dass die Steuerverwaltung Tausende Eltern zu Unrecht als Betrüger behandelt hatte und dabei die Staatsangehörigkeit bei der Risikobewertung herangezogen worden war; das dritte Kabinett Rutte trat im Januar 2021 zurück.
• Australien, Robodebt: Von etwa Juli 2015 bis November 2019 berechnete ein automatisiertes Verfahren Sozialleistungsschulden anhand durchschnittlicher jährlicher Steuerdaten. In einer Sammelklage räumte der Commonwealth ein, dass Schulden, die ausschließlich auf der Mittelwertbildung von Einkommen beruhten, keine ordnungsgemäße Rechtsgrundlage hatten; das Bundesgericht genehmigte am 11. Juni 2021 einen Vergleich über $112 Millionen (Prygodicz v Commonwealth (No 2) [2021] FCA 634). Eine Königliche Untersuchungskommission legte am 7. Juli 2023 ihren Bericht mit schwerwiegenden Feststellungen zur Konzeption und Verwaltung des Verfahrens vor.
• Vereinigte Staaten: Virginia Eubanks dokumentierte automatisierte Systeme zur Anspruchsberechtigungsprüfung und zur Bewertung von Risiken im Bereich der Kinderfürsorge in Indiana, Los Angeles und Allegheny County. Sie argumentiert, dass diese die Überwachung auf Arme konzentrieren.
• Albanien: Die Regierung stellte 2025 ein KI-System namens Diella als „Ministerin“ für das öffentliche Beschaffungswesen vor – eine symbolische Behauptung, die zeigt, wie algorithmische Autorität heute politisch gerahmt wird.
• Regulierung: Das EU-Gesetz über künstliche Intelligenz (Verordnung (EU) 2024/1689) stuft KI-Systeme, die zur Bewertung der Anspruchsberechtigung für öffentliche Leistungen und Dienstleistungen eingesetzt werden, als hochriskant ein und schreibt Risikomanagement, menschliche Aufsicht und Dokumentation vor.

• Übertriebene Neuheitsbehauptung: Bürokratien haben schon immer Formulare, Punktesysteme und Checklisten verwendet; Kritiker argumentieren, dass Algokratie eine Intensivierung regelgebundener Verwaltung und kein neues Regime ist.
• Genauigkeit ist keine Neutralität: Trainingsdaten kodieren frühere Entscheidungen, sodass Systeme Diskriminierung reproduzieren können, selbst wenn geschützte Merkmale nicht als Eingaben verwendet werden.
• Automatisierungsbias: Menschliche Prüfer neigen dazu, sich auf maschinelle Ergebnisse zu verlassen, sodass Schutzvorkehrungen mit „Menschen in der Entscheidungsschleife“ nur nominell sein können.
• Fehler im großen Maßstab: Eine fehlerhafte Regel führt, wenn sie automatisiert angewandt wird, zu massenhaften Fehlern, bevor sie jemand bemerkt – wie Robodebt gezeigt hat.
• Anfechtbarkeit: Betroffene können die gegen sie verwendeten Daten oder die zugrunde liegende Logik oft nicht einsehen, was das Recht auf Beschwerde untergräbt.
• Argument für Optimismus: Befürworter argumentieren, dass transparente, geprüfte Algorithmen konsistenter und weniger voreingenommen sein können als Ermessensentscheidungen von Beamten und dass der richtige Vergleich fehlerhafte menschliche Entscheidungen sind, nicht ein Ideal.

Erkenntnisse aus der Sozialleistungs- und Steuerverwaltung zeigen, dass algokratische Systeme großflächigen Schaden verursachen können, wenn sie undurchsichtige Logik, schwache rechtliche Schutzvorkehrungen und eine Betrugsvermutung miteinander verbinden. Gerichte und Parlamente haben begonnen, mit Rechten auf Begründung und menschliche Überprüfung, Folgenabschätzungen und risikobasierte Regulierung darauf zu reagieren. Ob Algokratie legitim gestaltet werden kann, hängt von politischen, nicht technischen Gestaltungsentscheidungen ab: Was wird automatisiert, wer kann das System prüfen, wie werden Fehler korrigiert und wer trägt die Kosten von Fehlentscheidungen?

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Virginia Eubanks, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)