Automatisierte Kontrolle von Sozialleistungen im Vergleich: sieben dokumentierte Systeme

Seit Mitte der 2010er-Jahre haben Regierungen in Ländern mit hohem und mittlerem Einkommen Teile der Kontrolle von Sozialleistungen automatisiert: den Abgleich von Datensätzen zur Erkennung von Überzahlungen, die Bewertung von Leistungsanträgen hinsichtlich Betrugsrisiken und die Prüfung der Anspruchsberechtigung anhand nationaler Register. Sieben dieser Systeme sind inzwischen ungewöhnlich gut dokumentiert, weil Gerichte, Aufsichtsbehörden, Parlamente oder Menschenrechtsforscher sie untersucht haben: das niederländische Risikohinweissystem SyRI und das Risikomodell für Kinderbetreuungsleistungen, Michigans Arbeitslosengeldsystem MiDAS, Australiens Robodebt, die Betrugsbekämpfungsmodelle von Udbetaling Danmark in Dänemark, das Modell für Vorschüsse auf Universal Credit des britischen Ministeriums für Arbeit und Renten (DWP) sowie Serbiens Register Social Card. Diese Studie vergleicht sie anhand eines gemeinsamen Kriterienkatalogs — was das System tat, welche Daten es verwendete, welche Rolle Menschen behielten, wie transparent es war, wie man dagegen vorgehen konnte und wie es endete —, um festzustellen, welche Fehlermuster wiederkehren und welche Schutzmaßnahmen durch die Evidenz gestützt werden.

Zentrale Erkenntnisse

• Zwei unterschiedliche Systemtypen werden häufig in einen Topf geworfen. Automatisierte Entscheidungen (MiDAS, Robodebt und faktisch Serbiens Register) führten unmittelbar zu nachteiligen Feststellungen; risikobasierte Auswahl (SyRI, das niederländische Modell für Kinderbetreuungsleistungen, Dänemark, das DWP-Modell) bestimmte, gegen wen ermittelt wurde. Der erste Systemtyp versagt durch falsche Entscheidungen in großem Maßstab; beim zweiten geht es darum, wer unter die Lupe genommen wird.
• Die gravierendsten dokumentierten Schäden entstanden durch automatisierte Entscheidungen mit umgekehrter Beweislast. Ein von IEEE Spectrum zitierter Bericht kam zu dem Ergebnis, dass MiDAS 40,195 Betrugsfälle ausschließlich durch einen Algorithmus entschied und 85% davon falsch einstufte; Robodebt erhob gegenüber rund 433,000 Menschen unrechtmäßige Forderungen in Höhe von etwa $1.73 billion.
• Auswahlsysteme versagen aufgrund von Ersatzmerkmalen. Staatsangehörigkeit (Niederlande), „ausländische Verbindungen“ und „ungewöhnliche“ Haushaltsmuster (Dänemark), die gezielte Auswahl bestimmter Wohngebiete (SyRI) sowie Unterschiede nach Alter, Behinderung, Familienstand und Staatsangehörigkeit (Vereinigtes Königreich) treten wiederholt auf. Keines der Auswahlsysteme veröffentlichte nach Gruppen aufgeschlüsselte, validierte Fehlerraten.
• „Ein Mensch trifft die endgültige Entscheidung“ schützte die Betroffenen nicht. Niederländischen Beamten wurde nicht mitgeteilt, warum ein Antrag eine hohe Risikobewertung erhielt; serbische Sozialarbeiter sagten Antragstellern: „Das neue System aus Belgrad hat entschieden“; das DWP stützte sich auf die Entscheidungen von Sachbearbeitern, um sein Modell als verhältnismäßig einzustufen, bevor die eigene Fairnessanalyse Unterschiede feststellte.
• Die Systeme wurden durch externe Institutionen gestoppt, nicht durch interne Evaluierungen. Gerichte (SyRI 2020; Rechtsverfahren zu Robodebt 2019–2021), eine Datenschutzaufsichtsbehörde (Niederlande), eine parlamentarische Untersuchung sowie Untersuchungen von NGOs und Journalisten leisteten diese Arbeit.
• Die wiederkehrenden begünstigenden Bedingungen sind politischer und rechtlicher Art: Sparziele, Rhetorik über Betrug, Gesetze ohne Härtefallklauseln, mit der Angst vor „Manipulation“ begründete Geheimhaltung sowie schwache oder langsame individuelle Rechtsbehelfe.

Forschungsfrage und Untersuchungsrahmen

Die Frage lautet: Welche Gestaltungsmerkmale und institutionellen Bedingungen stehen bei gut dokumentierten Fällen automatisierter Kontrolle von Sozialleistungen mit schwerwiegenden Schäden in Zusammenhang, und welche Schutzmaßnahmen haben tatsächlich funktioniert?

Fallauswahl. Fälle wurden aufgenommen, wenn eine maßgebliche externe Stelle — ein Gericht, eine Aufsichtsbehörde, ein parlamentarischer Untersuchungsausschuss oder eine königliche Untersuchungskommission — oder eine ausführliche veröffentlichte Untersuchung auf Grundlage amtlicher Dokumente das System untersucht hatte. Dadurch werden Skandale begünstigt; es handelt sich nicht um eine Zufallsstichprobe von Sozialleistungsalgorithmen. Die meisten eingesetzten Systeme wurden überhaupt noch nie untersucht. Die OECD berichtete 2026, dass nur 10 von 36 OECD-Ländern die Auswirkungen auch nur eines staatlichen KI-Anwendungsfalls messen; die nicht untersuchte Mehrheit kann daher nicht bewertet werden.

Dimensionen. Jeder Fall wird anhand von Funktion, Daten, menschlicher Rolle, Transparenz, Möglichkeiten des Widerspruchs, Ergebnis und der Stelle verglichen, die das System stoppte oder aufdeckte.

Hintergrund

Warum die Durchsetzung im Sozialleistungsbereich automatisiert wird

Bedürftigkeitsgeprüfte Leistungen erzeugen große Mengen kleiner, überprüfbarer Fakten — Einkommen, Haushaltszusammensetzung, Wohnsitz —, die in verschiedenen Datenbanken gespeichert sind. Ihr Abgleich ist kostengünstig, und Regierungen stehen unter anhaltendem politischem Druck, Betrug und Fehler zu bekämpfen. Das britische DWP begründete sein Modell beispielsweise mit dem Bemühen, die geschätzten 8 Milliarden £ pro Jahr zu verringern, die laut Berichten des Guardian durch Betrug und Fehler verloren gehen. Die Royal Commission zu Robodebt in Australien hörte jedoch Aussagen, wonach „Betrug im Sozialsystem minimal war“, und warnte, „rhetorik gegen Sozialleistungen ist billiger Populismus“. Die Diskrepanz zwischen wahrgenommenem und gemessenem Betrug ist ein wiederkehrender Faktor.

Ein älteres Muster

Diese Systeme stehen in einer längeren Entwicklungsgeschichte. Virginia Eubanks dokumentierte in Automating Inequality (2018), wie die Automatisierung von Anspruchsberechtigungsprüfungen, Risikomodelle und Register in den USA die Überprüfung auf arme Haushalte verlagerten; die folgenden Fälle sind die europäischen und australischen Pendants dazu, nun mit einer belastbareren Rechtsdokumentation.

Methode und Quellen

Die Belege stammen, soweit verfügbar, aus primären Rechts- und Aufsichtsdokumenten — dem Urteil des Bezirksgerichts Den Haag zu SyRI und dem Amicus-Schriftsatz des UN-Sonderberichterstatters in diesem Fall, den Bekanntmachungen des Generalstaatsanwalts von Michigan zur Einigung in Bauserman, den Feststellungen der niederländischen Datenschutzbehörde und der niederländischen parlamentarischen Untersuchung — sowie aus ausführlichen Untersuchungen auf Grundlage amtlicher Dokumente: den Berichten von Amnesty International zu Dänemark (2024) und Serbien (2023), dem Bericht des Guardian über eine im Rahmen der Informationsfreiheitsgesetze veröffentlichte DWP-Fairnessanalyse, dem Bericht von IEEE Spectrum über MiDAS und der Berichterstattung über das australische Bundesgericht und die Royal Commission. Für die Analyse menschlicher Aufsicht werden zwei begutachtete wissenschaftliche Arbeiten herangezogen: die Experimente von Alon-Barkat und Busuioc (2023) sowie die Politikanalyse von Green (2022).

Einschränkungen. Berichte von NGOs sind interessengeleitete Dokumente; ihre Tatsachendarstellungen stützen sich auf amtliche Unterlagen, die aufgrund von Informationszugangsgesetzen erlangt wurden, ihre rechtlichen Schlussfolgerungen werden jedoch von den betroffenen Regierungen bestritten (Udbetaling Danmark in Dänemark weist beispielsweise Amnestys Ansicht zurück, seine Modelle stellten unzulässiges Social Scoring dar). Die Fairnessanalyse des DWP wurde mit Schwärzungen wesentlicher Teile veröffentlicht. Die Fehlerzahlen von MiDAS stammen aus einer in einer Fachzeitschrift wiedergegebenen Untersuchung und nicht aus einem Gerichtsurteil. Vergleichbare Ergebniskennzahlen — falsch positive Befunde, rechtswidrige Sanktionen, Rückforderungsbeträge — liegen für die einzelnen Fälle nicht vor.

Befund 1: Was die Systeme taten

Automatisierte Entscheidungsfindung

MiDAS. Ein Bericht von IEEE Spectrum aus dem Jahr 2018 besagt, dass zwischen Oktober 2013 und September 2015 in Michigan mehr als 34.000 Menschen zu Unrecht des Betrugs bei der Arbeitslosenversicherung beschuldigt wurden und eine Überprüfung ergab, dass MiDAS „allein durch einen Algorithmus 40,195 Betrugsfälle entschied, wobei 85 Prozent zu falschen Betrugsfeststellungen führten“. Die Strafen waren schwerwiegend — eine Strafgebühr von 400 % des beantragten Betrags, Lohnpfändung und Einbehaltung von Steuerrückerstattungen — und Anwälte bemerkten einen Anstieg erfolgreicher Einsprüche, bevor sie feststellten, dass viele Vorwürfe „ohne menschliches Eingreifen oder eine mögliche Prüfung des Vorwurfs“ generiert worden waren. Antragsteller verklagten den Bundesstaat 2015 in Bauserman v. Unemployment Insurance Agency; nachdem der Oberste Gerichtshof von Michigan 2019 entschieden hatte, dass die Gruppe auf Personen beschränkt sei, von denen am oder nach dem 9. März 2015 erstmals Geld eingezogen worden war, und im Juli 2022 befand, dass sie nach der Verfassung des Bundesstaats Schadensersatz geltend machen könnten, stimmte der Bundesstaat einem Vergleich über 20 Millionen US-Dollar zu, den der Michigan Court of Claims am 29. Januar 2024 genehmigte.

Robodebt. Robodebt erhob Schulden, indem es das jährliche Einkommen laut Steuerbehörde auf Vierzehntageszeiträume verteilte, wenn Betroffene keine Nachweise vorlegten; vor dem Federal Court wurde ausgesagt, dass gegenüber etwa 433.000 Menschen rechtswidrig Schulden in Höhe von 1.73 Milliarden US-Dollar erhoben und von etwa 381.000 Menschen 751 Millionen US-Dollar eingetrieben worden waren. Siehe die vollständige Robodebt-Studie.

Serbien. Das Register der Sozialkarte entscheidet nicht formell über die Anspruchsberechtigung, doch Amnesty International stellte fest, dass es durch Warnmeldungen, die dringende Überprüfungen auslösen, eine „halbautomatisierte Entscheidungsfindung einführt“. Regierungsangaben zufolge gab es im August 2023 176,000 Leistungsempfängerinnen, 35,000 weniger* als im März 2022, als das Gesetz in Kraft trat – ein Rückgang, der zeitlich mit dem Register zusammenfiel, wobei Amnesty darauf hinweist, dass die genauen Zahlen der aufgrund des Systems erfolgten Ablehnungen unklar sind.

Risikoselektion

SyRI. Das Bezirksgericht Den Haag hält fest, dass zwischen 2008 und 2014 160 Projekte von Interventionsteams durchgeführt wurden und dass in 19 von 21 abgeschlossenen Projekten ein „gebietsbezogener Ansatz“ verfolgt wurde. Nach der Änderung des SUWI-Gesetzes mit Wirkung zum 1. Januar 2014 wurden fünf SyRI-Projekte durchgeführt, darunter Projekte in Stadtteilen von Rotterdam, Capelle aan den IJssel und Haarlem. Der Staat verweigerte die Offenlegung des Risikomodells und der Indikatoren mit der Begründung, die Bürger*innen könnten andernfalls ihr Verhalten anpassen.

Das niederländische Modell für Kinderbetreuungsbeihilfen wird in einer separaten Studie untersucht: Die Datenschutzbehörde stellte fest, dass die Staatsangehörigkeit als Indikator verwendet wurde, und verhängte 2021 gegen die Steuerverwaltung eine Geldbuße von €2.75 Millionen.

Dänemark. Amnesty berichtet, dass Udbetaling Danmark (2012 gesetzlich eingerichtet) und der Pensionsfonds ATP, der in dessen Auftrag Leistungen verwaltet, eine Gemeinsame Dateneinheit betreiben, die Register über Millionen von Einwohnerinnen zusammenführt und Profiling-Modelle verwendet, um Listen von Personen zu erstellen, die für eine Untersuchung markiert wurden; 2019 wurde berichtet, dass die Behörde etwa 60 KI- und Machine-Learning-Modelle nutzte. Ein Modell, „Model Abroad“, bewertet die „Auslandsverbundenheit“ von Leistungsempfängerinnen und priorisiert Personen mit „mittelstarken und starken Bindungen“ zu Nicht-EWR-Ländern für eine Untersuchung.

Vereinigtes Königreich. The Guardian berichtete im Dezember 2024, dass eine im Februar 2024 durchgeführte „Fairness-Analyse“ des DWP eine „statistisch signifikante Ergebnisungleichheit“ nach Alter, Behinderung, Familienstand und Staatsangehörigkeit im Machine-Learning-Modell festgestellt habe, das zur Prüfung von Anträgen auf Vorschüsse aus dem Universal Credit eingesetzt wird; für ethnische Zugehörigkeit, Geschlecht, sexuelle Orientierung, Religion, Schwangerschaft oder Geschlechtsangleichung sei bis dahin noch keine Fairness-Analyse durchgeführt worden.

Befund 2: Stellvertretermerkmale und Datenqualität

Geschützte Merkmale und ihre Stellvertreter

Das SyRI-Gericht stellte fest, dass die Verwendung des Risikomodells „das Risiko birgt, dass diskriminierende Auswirkungen – beabsichtigt oder unbeabsichtigt – auftreten“, und verwies auf das Argument der Klägerinnen, dass die gezielte Auswahl von Problemvierteln „die Wahrscheinlichkeit erhöht, in diesen Gebieten Unregelmäßigkeiten aufzudecken“, was „wiederum das Bild eines Viertels als Problemgebiet bestätigt“. Amnestys Bericht zu Dänemark macht denselben Punkt in Bezug auf relative Messgrößen: „mittelstarke und starke Bindungen“ werden im Verhältnis zu anderen Leistungsempfängerinnen definiert, nicht anhand objektiver Kriterien.

Schlechte Daten als Entscheidungsgrundlage

Serbien zeigt, dass es für einen Schaden keiner hochentwickelten Modelle bedarf. Amnesty dokumentiert den Fall einer Frau, deren Sozialhilfe im Februar 2023 gestrichen wurde, nachdem eine Menschenrechtsgruppe zur Unterstützung bei der Bezahlung der Beerdigung ihrer Tochter eine Nothilfezahlung von 20,000 Dinar überwiesen hatte, die das Register als Einkommen markierte; außerdem den Fall von Roma-Familien, denen die Unterstützung entzogen wurde, weil vor Jahren als Schrott verkaufte Autos noch immer auf ihren Namen zugelassen waren. Die Durchschnittsberechnung bei Robodebt beruhte auf einer ähnlich einfachen Annahme. In beiden Fällen bestand der Fehler darin, ein Datenartefakt als Tatsache über das Leben einer Person zu behandeln.

Befund 3: Die Grenzen des Menschen in der Entscheidungsschleife

Bei den meisten dieser Systeme war irgendwo im Prozess ein Mensch beteiligt. Das verhinderte den Schaden nicht:

• Keine Begründung, kein Ermessen. Amnesty berichtet, dass niederländische Beamt*innen, die Hochrisikoanträge auf Kinderbetreuungsbeihilfen prüften, „keine Informationen darüber erhielten, warum das System den Antrag als hochriskant eingestuft hatte“.
• Befolgung ohne Widerspruch. Serbische Antragstellerinnen berichteten Amnesty, dass Sozialarbeiterinnen Entscheidungen dem „neuen System“ zuschrieben und erklärten, sie könnten Meldungen nicht außer Kraft setzen; „Ich kann nichts tun, es ist das neue System aus Belgrad, das entschieden hat“ war die am häufigsten dokumentierte Antwort.
• Absicherung durch Formalität. Das DWP hatte Mitte 2024 erklärt, das Modell „gebe keinen unmittelbaren Anlass zur Sorge hinsichtlich Diskriminierung“, unter anderem weil „die endgültige Entscheidung darüber, ob eine Person eine Sozialleistung erhält, weiterhin von einem Menschen getroffen wird“.

Experimentelle Befunde machen einfache Erklärungen komplizierter. Alon-Barkat und Busuioc führten in den Niederlanden drei Experimente durch (mit 605, 904 und 1,345 Teilnehmenden, wobei die letzte Stichprobe aus Beamtinnen bestand). Sie fanden keine Hinweise auf einen allgemeinen Automatisierungsbias – die Teilnehmenden folgten algorithmischen Empfehlungen nicht häufiger als gleichwertigen Empfehlungen menschlicher Expertinnen –, stellten aber eine selektive Befolgung fest: In der zweiten Studie folgten die Teilnehmenden eher Empfehlungen, die mit Gruppenstereotypen übereinstimmten. Dieses Muster zeigte sich nicht bei Beamtinnen, die kurz nach dem Skandal um die Kinderbetreuungsbeihilfen befragt wurden; die Autorinnen führen dies auf das gestiegene Problembewusstsein zurück. Ben Green argumentiert allgemeiner, dass politische Vorgaben zur menschlichen Aufsicht über Regierungsalgorithmen auf einer schwachen Prämisse beruhen – Menschen seien schlecht darin, Algorithmen zu beaufsichtigen – und fehlerhafte Systeme legitimieren können; stattdessen schlägt er vor, dass Behörden den Einsatz von Algorithmen begründen und die Aufsicht institutionell statt individuell organisiert sein sollte.

Befund 4: Wie die Systeme aufgedeckt und gestoppt wurden

Gerichte: SyRI als maßgeblicher Präzedenzfall

Das SyRI-Urteil ist das klarste juristische Ergebnis. Das Gericht prüfte die SyRI-Gesetzgebung anhand von Artikel 8 Absatz 2 der Europäischen Menschenrechtskonvention, der einen „gerechten Ausgleich“ zwischen dem verfolgten öffentlichen Interesse und dem Eingriff in das Privatleben verlangt. Es stellte fest, dass die Gesetzgebung „unzureichende Schutzvorkehrungen enthält, um das Recht auf Achtung des Privatlebens im Hinblick auf die Risikindikatoren und das Risikomodell zu schützen“, dass sich nicht überprüfen lasse, wie der „einfache Entscheidungsbaum“ des Modells erzeugt worden sei, und dass es daher „schwer nachvollziehbar [sei], wie eine betroffene Person sich dagegen verteidigen könnte, dass ein Risikobericht über sie erstellt wurde“. Transparenz wurde mit anderen Worten als Voraussetzung für die Anfechtbarkeit behandelt. Der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, Philip Alston, hatte am 26. September 2019 eine Amicus-curiae-Stellungnahme zur Unterstützung der Kläger eingereicht; im Urteil wird festgehalten, dass die Kläger im Verfahren von der Gewerkschaftsföderation FNV und dem Sonderberichterstatter unterstützt wurden (Abs. 6.92).

Aufsichtsbehörden und Untersuchungen

In den Niederlanden war es die Datenschutzbehörde, die aus einem politischen Skandal eine rechtliche Feststellung über das Modell selbst machte, während eine parlamentarische Untersuchung die politische Verantwortlichkeit erzwang. In Australien hingegen stellte die Königliche Untersuchungskommission fest, dass Ombudsmann, Informationsbeauftragter und Verwaltungsberufungsgericht kaum ein „Hindernis für die Fortführung des Programms“ darstellten; die juristische Auseinandersetzung und ein Regierungswechsel bewirkten die Veränderung.

Einzelne Einsprüche

Einzelne Einsprüche halfen Betroffenen, brachten die Systeme aber selten zum Stillstand. In Michigan waren erfolgreiche Einsprüche das Signal, durch das MiDAS aufgedeckt wurde. In Serbien dokumentiert Amnesty den Fall einer Frau, die bei ihrem zweiten Versuch mit kostenloser Prozesskostenhilfe die Wiedereinsetzung erreichte, nachdem sie monatelang ohne Unterstützung geblieben war. Die Königliche Untersuchungskommission zu Robodebt stellte fest, dass das Tribunalssystem als systemische Kontrollinstanz wirkungslos war.

Was die Belege nicht zeigen

• Es zeigt nicht, dass automatisierte Durchsetzung nicht funktionieren kann. Gut konzipierter Datenabgleich kann Fehler ohne diese Schäden verringern; solche Systeme werden selten Gegenstand von Gerichtsurteilen und sind daher hier unterrepräsentiert.
• Es zeigt nicht, dass maschinelles Lernen die Hauptgefahr darstellt. Die schädlichsten Systeme – MiDAS und Robodebt – beruhten auf Regeln und Arithmetik. Intransparenz, Proxy-Variablen und eine umgekehrte Beweislast sind wichtiger als der Modelltyp.
• Es liefert keine vergleichbaren Fehlerquoten. Nur für MiDAS liegt eine veröffentlichte Fehlerzahl für automatisierte Entscheidungen vor, und sie stammt aus einer Prüfung, über die aus zweiter Hand berichtet wurde.
• Es klärt die dänischen und britischen Fälle nicht abschließend. Beide Regierungen bestreiten die Schlussfolgerungen der Kritiker; die dokumentarische Beleglage ist lückenhaft und geschwärzt.
• Es zeigt nicht, dass eine einzige Schutzmaßnahme genügt. In jedem Fall fehlten mehrere Schutzmaßnahmen zugleich.

Implikationen für die institutionelle Ausgestaltung

1. Lassen Sie niemals einen Datenabgleich oder einen Score als Beweis gelten. Nachteilige Feststellungen sollten Belege voraussetzen, die einer unabhängigen Prüfung standhalten; die Beweislast sollte bei der Behörde verbleiben.
2. Trennen Sie die Auswahl von der Sanktion. Eine Markierung für eine Überprüfung sollte weder Zahlungen aussetzen noch Kennzeichnungen nach sich ziehen, wenn es dafür keine unabhängigen Belege und keine Möglichkeit zur Stellungnahme gibt.
3. Veröffentlichen Sie die Grundlagen des Modells und sein Fehlerprofil. SyRI zeigt, dass Gerichte nicht offengelegte Modelle als unvereinbar mit dem Rechtsschutz ansehen werden. Bedenken wegen „Gaming“ lassen sich durch die Offenlegung der Logik und der Validierungsergebnisse ausräumen, ohne aktuelle Schwellenwerte offenzulegen.
4. Prüfen Sie auf Proxy-Variablen, nicht nur auf geschützte Merkmale, und testen Sie vor dem Einsatz alle geschützten Merkmale – das DWP hatte nur einige geprüft.
5. Geben Sie Prüfern die Gründe und die Befugnis an die Hand. Ein menschlicher Prüfer benötigt die Faktoren, die einer Markierung zugrunde liegen, Zeit für Nachforschungen und die ausdrückliche Befugnis, sie aufzuheben, sowie eine Schulung, die einer unkritischen Übernahme vorbeugt.
6. Schaffen Sie systemische Auslöser. Wenn Beschwerden gegen ein System ungewöhnlich häufig erfolgreich sind, sollte ein Ombudsmann oder eine Aufsichtsbehörde das System bis zum Abschluss einer Prüfung aussetzen können.
7. Berücksichtigen Sie die Gesamtkosten. Evaluierungen sollten zu Unrecht festgesetzte Schulden, Rückerstattungen, Rechtsstreitigkeiten und Entschädigungen erfassen, nicht nur Rückforderungen.

Offene Fragen

• Wie viele automatisierte Systeme zur Durchsetzung von Sozialleistungsregeln sind ohne jede externe Prüfung im Einsatz, und wie könnten Register sie sichtbar machen?
• Werden sich die Einstufung des Zugangs zu wesentlichen öffentlichen Dienstleistungen als Hochrisikobereich und das Verbot des Social Scoring im EU-KI-Gesetz auf Praktiken wie jene Dänemarks auswirken – und wer wird über Streitigkeiten bei der Einstufung entscheiden?
• Kann die Fairnessprüfung aussagekräftig sein, wenn Regierungen die betroffenen Gruppen unkenntlich machen?
• Schrecken systemische Rechtsbehelfe wie Sammelklagen und Geldbußen von Aufsichtsbehörden vor künftigen Schäden ab, oder gleichen sie hauptsächlich vergangene Schäden aus?
• Wie sähe ein positiver Referenzfall aus – ein automatisiertes Durchsetzungssystem mit veröffentlichten Fehlerquoten, Daten zu Anfechtungen und unabhängiger Prüfung?

Quellen

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24. Januar 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6. Dezember 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, Paris.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26. September 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30. Januar 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20. Oktober 2022.