Automatisierte Entscheidungen anfechten: Erklärung, menschliche Überprüfung und Rechtsbehelf

Was kann eine betroffene Person tatsächlich tun, wenn eine Behörde oder ein Unternehmen ein automatisiertes System einsetzt, um eine Leistung abzulehnen, eine Person für eine Untersuchung zu markieren oder einen Vertragsschluss zu verweigern? Das Recht bietet drei verschiedene Instrumente: ein Recht auf Erklärung (um zu erfahren, warum), ein Recht auf menschliche Überprüfung (damit eine Person die Entscheidung erneut prüft) und ein Recht auf Anfechtung (um die Angelegenheit einer unabhängigen Stelle vorzulegen). Zwischen 2023 und 2026 haben sich diese Instrumente erheblich verändert. Der Gerichtshof der Europäischen Union (EuGH) entschied in SCHUFA (C‑634/21, 2023), dass ein Bonitätsscore selbst eine automatisierte Entscheidung darstellen kann, und in Dun & Bradstreet Austria (C‑203/22, 2025), dass Menschen Anspruch auf eine Erklärung „des tatsächlich angewandten Verfahrens und der tatsächlich angewandten Grundsätze“ haben; die EU-KI-Verordnung führte ein Recht auf Erklärung für Entscheidungen ein, die auf Hochrisikosystemen beruhen; der Europarat verabschiedete den ersten verbindlichen KI-Vertrag; das Vereinigte Königreich schrieb seine Regeln für automatisierte Entscheidungen neu; und US-amerikanische Regelungen auf Bundes- und Bundesstaatenebene führten Pflichten zur Anfechtung und menschlichen Überprüfung ein. Diese Studie kartiert diese Rechte, vergleicht sie und fragt, was die Belege aus realen Fällen darüber aussagen, welche Mechanismen Menschen in der Praxis helfen.

Zentrale Erkenntnisse

• Die EU verfügt nun über einen praktikablen Maßstab für Erklärungen. In Dun & Bradstreet Austria entschied der EuGH, dass Verantwortliche das tatsächlich angewandte Verfahren und die tatsächlich angewandten Grundsätze beschreiben müssen, damit Menschen verstehen können, welche Daten verwendet wurden und auf welche Weise; die bloße Mitteilung eines Algorithmus reicht nicht aus, und Einwände wegen Geschäftsgeheimnissen sind einem Gericht oder einer Aufsichtsbehörde zur Abwägung vorzulegen.
• Der Anwendungsbereich des Begriffs „automatisierte Entscheidung“ hat sich erweitert. In SCHUFA entschied der EuGH, dass ein Score eine automatisierte Einzelentscheidung im Sinne von Artikel 22 DSGVO darstellt, wenn der Kunde ihm „eine maßgebliche Rolle“ beimisst.
• Artikel 86 der KI-Verordnung ist enger gefasst, als es zunächst scheint. Er gilt für Entscheidungen, die auf Hochrisikosystemen nach Anhang III beruhen und rechtliche oder ähnlich erhebliche Auswirkungen haben, greift nur, wenn das Unionsrecht dieses Recht nicht bereits vorsieht, und hängt von den Pflichten für Hochrisikosysteme ab, deren Geltungsbeginn der Digital Omnibus von 2026 auf den 2. Dezember 2027 verschoben hat.
• Die Rechtsordnungen nähern sich einem gemeinsamen Instrumentarium an — Benachrichtigung, Begründung, menschliches Eingreifen, Anfechtung — unterscheiden sich aber darin, ob ausschließlich automatisierte Entscheidungen grundsätzlich verboten (EU) oder mit Schutzvorkehrungen erlaubt sind (Vereinigtes Königreich nach 2025, Colorado, US-Bundesbehörden).
• In der Praxis haben individuelle Rechte schädliche Systeme nur selten gestoppt. Die gut dokumentierten Fälle — SyRI, Robodebt, das niederländische Modell für Kindergeldleistungen, MiDAS — wurden durch strategische Prozessführung, Sammelklagen, Aufsichtsbehörden und Untersuchungen gestoppt; individuelle Anfechtungen halfen einzelnen Betroffenen, aber nur langsam.
• Die Qualität menschlicher Überprüfungen hängt davon ab, über welche Informationen und Zeit die prüfende Person verfügt und welche Befugnisse sie hat. Belege aus den Niederlanden und Serbien zeigen, dass Prüfende sich auf Systeme verließen, die sie nicht hinterfragen konnten.

Forschungsfrage und Untersuchungsbereich

Die Studie stellt zwei miteinander verknüpfte Fragen: Welche rechtlichen Ansprüche auf Erklärung, menschliche Überprüfung und Anfechtung haben Menschen, die automatisierten Entscheidungen unterliegen, und was zeigen die Belege darüber, welche davon funktionieren? Sie behandelt das EU-Recht (DSGVO, Rechtsprechung des EuGH, KI-Verordnung), das Rahmenübereinkommen des Europarats, das Vereinigte Königreich sowie Maßnahmen auf US-Bundes- und Bundesstaatenebene; Frankreich wird dort berücksichtigt, wo die OECD seine Regelungen dokumentiert. Der Schwerpunkt liegt auf Entscheidungen des öffentlichen Sektors, die Studie bezieht jedoch auch private Bonitätsprüfungen ein, da die maßgeblichen Urteile des EuGH diese betreffen und ihre Begründung auch für öffentliche Verantwortliche gilt.

Hintergrund

Drei Rechte, drei Funktionen

Die drei Elemente hängen voneinander ab. Ohne eine Begründung werden Prüfer oder Tribunale aufgefordert, ein Ergebnis ohne Kenntnis seiner Gründe zu überprüfen; ohne unabhängigen Rechtsbehelf kann die menschliche Überprüfung zu einer Formalität innerhalb derselben Organisation werden.

Die akademische Debatte

Kurz nach der Verabschiedung der DSGVO argumentierten Wachter, Mittelstadt und Floridi (2017), dass es in der Verordnung kein rechtsverbindliches „Recht auf Erklärung“ einzelner automatisierter Entscheidungen gebe; sie gewähre allenfalls ein Recht auf Information über die Funktionsweise des Systems. Edwards und Veale (2017) vertraten die Auffassung, dass ein Recht auf Erklärung – unabhängig von seiner Reichweite – „wahrscheinlich nicht das Rechtsmittel ist, nach dem Sie suchen“, weil es die Beweislast auf Einzelpersonen verlagere und aussagekräftige Erklärungen komplexer Modelle schwer zu geben seien; sie verwiesen auf andere Instrumente wie Folgenabschätzungen. Wachter, Mittelstadt und Russell (2018) schlugen kontrafaktische Erklärungen vor – Aussagen darüber, was hätte anders sein müssen, damit ein anderes Ergebnis zustande gekommen wäre –, um Menschen zu informieren, ohne das Modell offenzulegen. Das Urteil des EuGH von 2025 lässt sich als Übernahme einer Variante dieser Idee lesen.

Methode und Quellen

Die Studie stützt sich auf primäre Rechtstexte (DSGVO, UK Data (Use and Access) Act 2025, KI-Verordnung in ihrer geänderten Fassung, Übereinkommen des Europarats, OMB Memorandum M‑25‑21, Gesetze des Bundesstaats Colorado, kalifornische Verordnungen), die offiziellen Pressemitteilungen des EuGH zu SCHUFA und Dun & Bradstreet Austria sowie begutachtete wissenschaftliche Arbeiten. Die Belege zur Praxis stammen aus den Fallstudien in Polity Atlas' Vergleichsstudie zum automatisierten Vollzug von Sozialleistungen sowie aus den Studien zum niederländischen Skandal um Kinderbetreuungsbeihilfen und zu Robodebt.

Einschränkungen. Die Urteile des EuGH werden anhand der eigenen Pressemitteilungen des Gerichtshofs zusammengefasst, die dieser als nicht amtlich bezeichnet; für Einzelheiten sollten die vollständigen Texte herangezogen werden. Mehrere Regelwerke sind neu oder noch nicht vollständig anwendbar, weshalb es nur wenige Belege für ihre Auswirkungen gibt. Die Websites des Europarats waren bei der Überprüfung dieser Studie nicht zugänglich; daher wurden die Artikel des Übereinkommens im authentischen englischen Text der Vertragsdatenbank der niederländischen Regierung gelesen, und sein aktueller Ratifikationsstand wird hier nicht angegeben.

Befund 1: EU-Datenschutzrecht nach SCHUFA und Dun & Bradstreet

Ausgangslage: Artikel 22 und 15 DSGVO

Artikel 22(1) DSGVO gewährt einer Person „das Recht, keiner ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt“. Ausnahmen bestehen bei Verträgen, ausdrücklicher Einwilligung und Entscheidungen, die durch Unionsrecht oder das Recht eines Mitgliedstaats zugelassen sind und geeignete Schutzmaßnahmen vorsehen. Gelten die Ausnahmen für Verträge oder Einwilligung, verlangt Artikel 22(3) „zumindest das Recht, bei dem Verantwortlichen menschliches Eingreifen zu erwirken, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten“. Artikel 15(1)(h) gewährt ein Recht auf Zugang zu „aussagekräftigen Informationen über die involvierte Logik“ solcher Entscheidungen.

SCHUFA (C‑634/21), 7. Dezember 2023

Die deutsche Kreditauskunftei SCHUFA erstellte Scores, die von Banken verwendet wurden. Der Gerichtshof entschied, dass das Scoring „als eine ‚automatisierte individuelle Entscheidung‘ anzusehen ist, die nach der DSGVO grundsätzlich verboten ist, sofern die Kunden der SCHUFA, wie etwa Banken, ihm bei der Gewährung eines Kredits eine maßgebliche Rolle beimessen“. Die Bedeutung liegt in der strukturellen Wirkung: Das Recht gilt für die Stelle, die den entscheidenden Score erstellt, und nicht nur für die Stelle, die formell die Entscheidung trifft. Für den öffentlichen Sektor deutet dies darauf hin, dass ein Risikoscore, der in der Praxis bestimmt, ob ein Anspruch untersucht oder abgelehnt wird, selbst unter Artikel 22 fallen kann, auch wenn ein Amtsträger das Ergebnis unterzeichnet.

Dun & Bradstreet Austria (C‑203/22), 27. Februar 2025

Ein Mobilfunkanbieter verweigerte einem Kunden einen Vertrag – mit einer monatlichen Zahlung von €10 – aufgrund einer automatisierten Bonitätsbewertung durch Dun & Bradstreet. Ein österreichisches Gericht hatte bereits festgestellt, dass das Unternehmen keine „aussagekräftigen Informationen über die involvierte Logik“ bereitgestellt hatte. Auf ein Vorabentscheidungsersuchen zur Durchsetzung des Rechts entschied der Gerichtshof:

• der Verantwortliche muss „das angewandte Verfahren und die angewandten Grundsätze so beschreiben, dass die betroffene Person verstehen kann, welche ihrer personenbezogenen Daten verwendet wurden und auf welche Weise dies geschehen ist“;
• „es könnte insbesondere angebracht sein, die betroffene Person darüber zu informieren, inwieweit eine Veränderung der berücksichtigten personenbezogenen Daten zu einem anderen Ergebnis geführt hätte“ – eine Erklärung nach Art eines Gegenfaktums;
• „die bloße Mitteilung eines Algorithmus stellt keine hinreichend präzise und verständliche Erklärung dar“;
• macht der Verantwortliche geltend, dass die Informationen Daten Dritter oder Geschäftsgeheimnisse enthalten, muss er diese Informationen der zuständigen Aufsichtsbehörde oder dem zuständigen Gericht vorlegen, das die Interessen gegeneinander abwägt; eine nationale Vorschrift, die den Zugang grundsätzlich immer dann ausschließt, wenn Geschäftsgeheimnisse betroffen sind, ist unzulässig.

Die eigene Schlagzeile des Gerichtshofs lautete: „Die erteilte Erklärung muss es der betroffenen Person ermöglichen, die automatisierte Entscheidung zu verstehen und anzufechten.“ Die Erklärung wird somit anhand ihrer Funktion bei der Anfechtung definiert.

Befund 2: die EU-KI-Verordnung

Artikel 86: ein Recht auf Erklärung bei Hochrisikoentscheidungen

Artikel 86 Absatz 1 des KI-Gesetzes gewährt „jeder betroffenen Person, die einer Entscheidung unterworfen ist, die vom Betreiber auf der Grundlage der Ausgabe eines in Anhang III aufgeführten Hochrisiko-KI-Systems getroffen wird“, ausgenommen Systeme nach Nummer 2 dieses Anhangs (kritische Infrastruktur), und die rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, sodass sie dies als nachteilig für ihre Gesundheit, Sicherheit oder Grundrechte erachtet, das Recht, „klare und aussagekräftige Erläuterungen zur Rolle des KI-Systems im Entscheidungsverfahren und zu den wichtigsten Elementen der getroffenen Entscheidung“ zu erhalten. Artikel 86 Absatz 3 besagt, dass der Artikel „nur insoweit gilt, als das in Absatz 1 genannte Recht nicht anderweitig im Unionsrecht vorgesehen ist“ – soweit die DSGVO also bereits eine Erläuterung vorsieht, ist die DSGVO maßgeblich.

Zeitpunkt nach dem Digital Omnibus

Das allgemeine Datum der Anwendbarkeit des KI-Gesetzes ist der 2. August 2026. Die Verordnung (EU) 2026/1744 (der Digital Omnibus zu KI) änderte jedoch Artikel 113 dahingehend, dass Kapitel III Abschnitte 1–3 – die zentralen Pflichten für Hochrisikosysteme – für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Systeme nach Anhang I ab dem 2. August 2028 gelten. Da Artikel 86 durch Bezugnahme auf Hochrisiko-KI-Systeme nach Anhang III definiert ist, ist seine praktische Wirkung vor Anwendbarkeit der Hochrisikoregelung ungewiss; wie Behörden und Gerichte den Übergangszeitraum behandeln, ist eine offene Frage.

Weitere Rechtswege nach dem KI-Gesetz

Das Gesetz ermöglicht es außerdem jeder Person, bei einer Marktüberwachungsbehörde Beschwerde einzulegen, verpflichtet Betreiber von Hochrisikosystemen, diese unter menschlicher Aufsicht einzusetzen, und verpflichtet Betreiber bestimmter Systeme nach Anhang III im Bereich des öffentlichen Rechts, eine Grundrechte-Folgenabschätzung durchzuführen. Dabei handelt es sich überwiegend um Pflichten ex ante; Artikel 86 ist der wichtigste individuelle Rechtsbehelf.

Befund 3: das Rahmenübereinkommen des Europarats

Das Rahmenübereinkommen über künstliche Intelligenz und Menschenrechte, Demokratie und Rechtsstaatlichkeit (CETS Nr. 225) wurde am 5. September 2024 in Vilnius zur Unterzeichnung aufgelegt. Kapitel IV behandelt Rechtsbehelfe. Artikel 14 verpflichtet jede Vertragspartei, „soweit Rechtsbehelfe aufgrund ihrer internationalen Verpflichtungen erforderlich und mit ihrem innerstaatlichen Rechtssystem vereinbar sind“, „zugängliche und wirksame Rechtsbehelfe“ bei Menschenrechtsverletzungen infolge von KI-Systemen sicherzustellen. Dazu gehören Maßnahmen zur Dokumentation relevanter Informationen über Systeme, die Menschenrechte erheblich beeinträchtigen können, und, soweit angemessen, deren Bereitstellung für betroffene Personen; die Sicherstellung, dass diese Informationen „ausreichen, damit die betroffenen Personen die Entscheidung(en) anfechten können“, die von dem System getroffen oder wesentlich durch dieses beeinflusst wurden; sowie „eine wirksame Möglichkeit für die betroffenen Personen, bei den zuständigen Behörden Beschwerde einzulegen“. Artikel 15 verlangt wirksame Verfahrensgarantien, wenn ein KI-System „die Ausübung der Menschenrechte erheblich beeinträchtigt“, und fordert die Vertragsparteien auf, „sich darum zu bemühen sicherzustellen“, dass Menschen darüber informiert werden, dass sie mit einem KI-System interagieren. Die Verpflichtungen sind allgemein formuliert und lassen den Vertragsparteien Ermessensspielraum bei der Umsetzung; sie binden ausschließlich Vertragsparteien: Nach Artikel 30 Absatz 3 tritt das Übereinkommen drei Monate, nachdem fünf Unterzeichnerstaaten, darunter mindestens drei Mitgliedstaaten des Europarats, es ratifiziert haben, in Kraft.

Befund 4: das Vereinigte Königreich nach 2025

Der Data (Use and Access) Act 2025, der am 19. Juni 2025 die königliche Zustimmung erhielt, ersetzte Artikel 22 der britischen DSGVO durch die neuen Artikel 22A–22D. Der Ansatzwechsel ist erheblich:

• eine Entscheidung gilt als „ausschließlich auf automatisierter Verarbeitung beruhend, wenn an ihrer Herbeiführung keine maßgebliche menschliche Mitwirkung beteiligt ist“, und als „erheblich“, wenn sie rechtliche oder vergleichbar erhebliche Auswirkungen hat;
• ausschließlich automatisierte erhebliche Entscheidungen sind beschränkt, vor allem wenn sie sich auf Daten besonderer Kategorien stützen — sie sind nur mit ausdrücklicher Einwilligung zulässig oder wenn die Entscheidung für einen Vertrag erforderlich oder gesetzlich vorgeschrieben oder genehmigt ist und die Voraussetzung des erheblichen öffentlichen Interesses nach Artikel 9(2)(g) erfüllt ist — oder wenn sie auf der neuen Grundlage der „anerkannten berechtigten Interessen“ beruhen; sie sind also nicht grundsätzlich verboten;
• werden solche Entscheidungen getroffen, müssen Verantwortliche Schutzvorkehrungen treffen, die „der betroffenen Person Informationen über Entscheidungen bereitstellen“, „der betroffenen Person ermöglichen, Stellungnahmen abzugeben“, „der betroffenen Person ermöglichen, ein Eingreifen durch einen Menschen zu erwirken“ und „der betroffenen Person ermöglichen, solche Entscheidungen anzufechten“;
• der Secretary of State kann durch Verordnungen festlegen, was als maßgebliche menschliche Mitwirkung und als vergleichbar erhebliche Auswirkungen gilt.

Das Vereinigte Königreich ist somit von einem Modell des Verbots mit Ausnahmen zu einem Modell der Zulässigkeit mit Schutzvorkehrungen übergegangen und behält dabei die vier zentralen Schutzvorkehrungen bei.

Befund 5: die Vereinigten Staaten

Es gibt kein allgemeines Bundesrecht auf Erläuterung oder Anfechtung automatisierter Entscheidungen; stattdessen besteht ein Flickenteppich:

• Bundesbehörden. Das OMB Memorandum M‑25‑21 (3 April 2025), das M‑24‑10 aufhob und ersetzte, verpflichtet Behörden, innerhalb von 365 Tagen Mindestpraktiken des Risikomanagements auf „KI mit hoher Wirkung“ anzuwenden. Dazu gehört, „sicherzustellen, dass von KI-gestützten Entscheidungen betroffene Personen zeitnah Zugang zu einer menschlichen Überprüfung und gegebenenfalls die Möglichkeit erhalten, gegen negative Auswirkungen Beschwerde einzulegen“. Die Chief AI Officers der Behörden können Ausnahmen von den Mindestpraktiken gewähren; diese Ausnahmen werden nachverfolgt, gemeldet und öffentlich zusammengefasst.
• Colorado. SB24‑205, am 17 May 2024 verabschiedet, verpflichtet Betreiber von Hochrisiko-KI-Systemen, die folgenreiche Entscheidungen treffen oder maßgeblich beeinflussen, Verbraucher zu informieren, ihnen die Möglichkeit zu geben, unrichtige personenbezogene Daten zu berichtigen, sowie „die Möglichkeit einzuräumen, eine nachteilige folgenreiche Entscheidung anzufechten, gegebenenfalls mittels menschlicher Überprüfung, sofern dies technisch machbar ist“. SB25B‑004, am 28 August 2025 unterzeichnet, verschob das Inkrafttreten dieser Anforderungen auf den 30 June 2026. Im May 2026 änderte die Legislative ihren Kurs: SB26‑189, am 14 May 2026 unterzeichnet, hebt die Bestimmungen von 2024 auf und erlässt sie erneut als Gesetz über „Technologie zur automatisierten Entscheidungsfindung“, die zur maßgeblichen Beeinflussung folgenreicher Entscheidungen eingesetzt wird; die Pflichten gelten ab dem 1 January 2027. Betreiber müssen zum Zeitpunkt der Interaktion informieren und innerhalb von 30 Tagen nach einem nachteiligen Ergebnis eine allgemein verständliche Beschreibung der Rolle der Technologie bereitstellen; Verbraucher können ihre Daten, die Berichtigung sachlich unrichtiger Daten sowie eine „maßgebliche menschliche Überprüfung und erneute Prüfung“ verlangen; die Durchsetzung obliegt dem Attorney General, ohne dass ein neues privates Klagerecht geschaffen wird.
• Kalifornien. Die Verordnungen der California Privacy Protection Agency, am 22 September 2025 genehmigt und ab dem 1 January 2026 mit gestaffelten Fristen für die Umsetzung wirksam, setzen die Rechte der Verbraucher um, Auskunft über den Einsatz automatisierter Entscheidungsfindungstechnologie durch Unternehmen zu erhalten und diesem zu widersprechen.
• New York City. Local Law 144 of 2021 verbietet Arbeitgebern den Einsatz automatisierter Instrumente zur Personalentscheidung, sofern diese nicht innerhalb eines Jahres einer Bias-Prüfung unterzogen wurden, die Ergebnisse der Prüfung öffentlich sind und Bewerber eine Mitteilung erhalten — ein Modell aus Prüfung und Mitteilung ohne individuelles Anfechtungsrecht.

Vergleich

Befund 6: Was in der Praxis wirkt

Systemische Wege sind einzelnen Rechtsbehelfen überlegen

In den am besten dokumentierten Fällen waren die entscheidenden Interventionen kollektiver oder institutioneller Art:

• Strategische Prozessführung. Im Fall SyRI erwirkten zivilgesellschaftliche Organisationen als Koalition ein Urteil, wonach die Rechtsvorschriften gegen Artikel 8 EMRK verstießen. Das Gericht begründete dies damit, dass es ohne Einblick in das Risikomodell „schwer verständlich [sei], wie eine betroffene Person sich verteidigen können sollte“ — Transparenz wurde damit als Voraussetzung individueller Anfechtung behandelt.
• Sammelklagen. Die Sammelklage im Fall Robodebt führte zu Vergleichen in Höhe von mindestens 1,8 Milliarden US-Dollar (2021) und 548,5 Millionen US-Dollar (2026 genehmigt).
• Aufsichtsbehörden. Die niederländische Datenschutzbehörde befand, dass auf der Staatsangehörigkeit beruhende Risikoindikatoren rechtswidrig waren, und verhängte eine Geldbuße gegen die Steuerverwaltung.
• Untersuchungen. Die parlamentarische Untersuchung in den Niederlanden und die Royal Commission in Australien erzwangen politische Rechenschaft.

Individuelle Rechtsbehelfe waren vor allem als Signale bedeutsam. In Michigan bemerkten Anwälte einen Anstieg erfolgreicher Betrugsanfechtungen, bevor sie entdeckten, dass MiDAS Feststellungen ohne menschliche Überprüfung traf. In Serbien dokumentierte Amnesty International den Fall einer Frau, die bei ihrer zweiten Berufung mit kostenloser Rechtsberatung die Wiedereinstellung erwirkte — nach Monaten ohne Einkommen.

Menschliche Überprüfung scheitert ohne Informationen, Zeit und Befugnisse

Den Prüfern niederländischer Kinderbetreuungsleistungen wurde nicht mitgeteilt, warum ein Antrag als risikoreich eingestuft worden war. Serbische Sozialarbeiter sagten den Antragstellern, „das neue System aus Belgrad“ habe entschieden. Experimentelle Evidenz aus den Niederlanden (Alon-Barkat und Busuioc, 2023) ergab keine allgemeine Automatisierungsverzerrung, jedoch eine Tendenz, Empfehlungen zu folgen, die Gruppenstereotypen entsprachen; diese Tendenz zeigte sich nicht bei den kurz nach dem Kinderbetreuungsskandal getesteten Beamten. Ben Green (2022) argumentiert, dass Anforderungen an menschliche Aufsicht falsche Sicherheit vermitteln und fehlerhafte Systeme legitimieren können. Er schlägt vor, dass Behörden stattdessen den Einsatz von Algorithmen begründen und diese einer institutionellen Aufsicht unterstellen sollten.

Erläuterungen sind wirksam, wenn sie handlungsrelevant sind

Der Maßstab des EuGH im Fall Dun & Bradstreet — welche Daten verwendet wurden, wie sie verwendet wurden und welche Änderung das Ergebnis beeinflusst hätte — entspricht der Art von Erläuterung, die es einer Person ermöglicht, Daten zu berichtigen (wie in den serbischen Fällen falsch erfasster Einkommen oder verschrotteter Autos) oder eine Methode anzufechten (wie die Durchschnittsberechnung bei Robodebt). Allgemeine Beschreibungen „des Algorithmus“ leisten dies nicht.

Was die Evidenz nicht zeigt

• Zu den Auswirkungen der neuen Regelungen gibt es bislang wenig Evidenz. Artikel 86, die Artikel 22A–22D des Vereinigten Königreichs und Colorados Recht auf menschliche Überprüfung sind noch zu neu, als dass Ergebnisdaten vorliegen könnten.
• Sie zeigt nicht, dass individuelle Rechte nutzlos sind. Sie sind notwendige Voraussetzungen für systemische Abhilfemaßnahmen; Prozessführung durch Koalitionen und Aufsichtsbehörden bauen häufig auf individuellen Beschwerden auf.
• Sie zeigt nicht, dass immer Erläuterungen gegeben werden können. Bei einigen komplexen Modellen ist die Möglichkeit, einzelne Ergebnisse getreu zu erklären, weiterhin technisch umstritten; der Maßstab des EuGH umgeht dieses Problem, indem er auf tatsächlich angewandte Daten und Grundsätze abstellt.
• Sie belegt nicht, wie oft Prüfer von Systemempfehlungen abweichen. Nur wenige öffentliche Stellen veröffentlichen Abweichungsquoten oder Erfolgsquoten von Rechtsbehelfen bei automatisierten Entscheidungen.

Implikationen für die institutionelle Ausgestaltung

Eine mehrschichtige Ausgestaltung wird durch die Evidenz besser gestützt als ein einzelnes Recht:

1. Mitteilung, dass ein automatisiertes System verwendet wurde, zum Zeitpunkt der Entscheidung.
2. Handlungsrelevante Gründe: die verwendeten Daten, ihre Verwendung und was das Ergebnis ändern würde — der Maßstab von Dun & Bradstreet —, wobei Streitigkeiten über Geschäftsgeheimnisse von einer unabhängigen Behörde und nicht vom Verantwortlichen entschieden werden.
3. Echte menschliche Überprüfung: Prüfer mit Zugang zu den Gründen des Systems, Zeit für Nachforschungen und ausdrücklicher Befugnis, die Entscheidung zu übersteuern; Veröffentlichung von Übersteuerungsquoten.
4. Unabhängige Beschwerdeinstanz, die Rückforderungen oder Sanktionen während des Verfahrens aussetzt, mit Prozesskostenhilfe für Antragsteller mit geringem Einkommen.
5. Systemische Auslöser: aggregierte Beschwerdestatistiken, die einer Aufsichtsbehörde oder einem Ombudsmann gemeldet werden, die Befugnis zur Aussetzung eines Systems und Zugang zu kollektiver Abhilfe.
6. Register und rechtliche Freigabe vor dem Einsatz, damit die Rechtmäßigkeit einer Methode geprüft wird, bevor sie auf Tausende von Menschen angewandt wird.

Offene Fragen

• Wie werden nationale Gerichte den Test der „maßgeblichen Rolle“ aus SCHUFA auf Risikobewertungen des öffentlichen Sektors anwenden, die formal lediglich Fälle zur Überprüfung auswählen?
• Werden Aufsichtsbehörden praktische Verfahren entwickeln, um Geschäftsgeheimnisse und Auskunftsrechte gegeneinander abzuwägen, wie es Dun & Bradstreet verlangt?
• Wie wird Artikel 86 vor Dezember 2027 angewendet werden, und wird die Leitlinie der Kommission das Verhältnis zur DSGVO klären?
• Wird der Kurswechsel des Vereinigten Königreichs hin zu einem Modell mit Zulässigkeit unter Schutzvorkehrungen die Zahl ausschließlich automatisierter Entscheidungen erhöhen, und wird „meaningful human involvement“ streng definiert werden?
• Werden US-Bundesausnahmen von Mindestpraktiken sparsam oder routinemäßig in Anspruch genommen werden, und werden sich die Bundesstaaten dem Modell der menschlichen Überprüfung aus Colorado annähern?

Quellen

1. Europäisches Parlament und Rat (2016). Regulation (EU) 2016/679 (General Data Protection Regulation), Artikel 15 und 22.
2. Gerichtshof der Europäischen Union (2023). Press release No 186/23: SCHUFA Holding (Scoring), C‑634/21, 7. Dezember 2023.
3. Gerichtshof der Europäischen Union (2025). Press release No 22/25: Dun & Bradstreet Austria, C‑203/22, 27. Februar 2025.
4. Europäisches Parlament und Rat (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act), Artikel 86.
5. Europäisches Parlament und Rat (2026). Regulation (EU) 2026/1744 (Digital Omnibus on AI).
6. Europarat (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law (CETS No. 225).
7. Parlament des Vereinigten Königreichs (2025). Data (Use and Access) Act 2025, section 80.
8. Office of Management and Budget (2025). Memorandum M‑25‑21: Accelerating Federal Use of AI through Innovation, Governance, and Public Trust.
9. Generalversammlung von Colorado (2024). SB24‑205, Consumer Protections for Artificial Intelligence.
10. Generalversammlung von Colorado (2025). SB25B‑004, Increase Transparency for Algorithmic Systems.
11. California Privacy Protection Agency (2025). CCPA Updates, Cybersecurity Audits, Risk Assessments, ADMT and Insurance Regulations.
12. NYC Department of Consumer and Worker Protection. Automated Employment Decision Tools (Local Law 144 of 2021).
13. OECD (2026). Digital Government Outlook 2026, Kasten 4.7.
14. Wachter, S., Mittelstadt, B. and Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law 7(2): 76–99.
15. Edwards, L. and Veale, M. (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law & Technology Review 16(1): 18–84.
16. Wachter, S., Mittelstadt, B. and Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology 31(2).
17. Rechtbank Den Haag (2020). SyRI judgment, ECLI:NL:RBDHA:2020:1878.
18. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making. JPART 33(1): 153–169.
19. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.
20. Amnesty International (2023). Trapped by automation, EUR 70/7443/2023.
21. Charette, R. N. (2018). Michigan's MiDAS Unemployment System. IEEE Spectrum.
22. Generalversammlung von Colorado (2026). SB26‑189, Automated Decision-Making Technology.
23. Europarat (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law — authentic English text, wie in der niederländischen staatlichen Vertragsdatenbank veröffentlicht.