Register für KI-Systeme und Aussetzungsregel

Register und Aussetzungsregel für KI-Systeme

Zweck

Mitglieder sollten wissen können, welche automatisierten Systeme an öffentlichen Entscheidungen über sie beteiligt sind, wer für jedes System verantwortlich ist und wie ein System, das fehlerhaft arbeitet, gestoppt wird. Diese Regel schafft ein öffentliches Register und ein Aussetzungsverfahren. Sie ergänzt die vorherige Folgenabschätzung und individuelle Beschwerderechte, ersetzt sie jedoch nicht.

Begriffsbestimmungen

• Automatisiertes System: Software, die mithilfe statistischer Modelle, maschinellen Lernens oder Regeln Ausgaben (Bewertungen, Klassifizierungen, Empfehlungen, Entwürfe oder Entscheidungen) erzeugt, die bei einer Entscheidung eines Organs des Gemeinwesens über eine Person, eine Gruppe oder die Zuweisung öffentlicher Ressourcen verwendet werden.
• Verantwortliches Organ: Das Organ, das über den Einsatz des Systems entscheidet und für dessen Nutzung verantwortlich ist.
• Rollenstufe: beratend (Ausgaben fließen in eine menschliche Entscheidung ein), administrativ (das System trifft Routineentscheidungen innerhalb festgelegter Regeln) oder autonom (das System erlässt verbindliche Entscheidungen ohne fallweise menschliche Genehmigung).

Artikel 1. Register

1. Kein automatisiertes System darf bei einer von dieser Regel erfassten Entscheidung eingesetzt werden, sofern es nicht vor dem Einsatz in das öffentliche Register eingetragen wurde.
2. Jeder Eintrag enthält: den Namen und Zweck des Systems; das verantwortliche Organ und eine namentlich genannte Kontaktperson; die Rollenstufe; die Entscheidungen, die es beeinflusst, sowie eine ungefähre Angabe, wie viele Personen jährlich betroffen sind; den Anbieter und den Modelltyp; die verwendeten Datenkategorien; die bestehenden Maßnahmen menschlicher Aufsicht; Hinweise dazu, wie eine menschliche Überprüfung beantragt werden kann; und das Datum der letzten Evaluierung.
3. Einträge werden innerhalb von 30 Tagen nach jeder wesentlichen Änderung aktualisiert. Außer Betrieb genommene Systeme bleiben fünf Jahre lang als außer Betrieb gekennzeichnet im Register.

Artikel 2. Aussetzung

1. Das verantwortliche Organ muss den Einsatz eines Systems aussetzen und auf das dokumentierte manuelle Verfahren umstellen, wenn begründeter Anlass zu der Annahme besteht, dass das System systematisch fehlerhafte oder diskriminierende Ausgaben erzeugt.
2. Für jedes registrierte System muss es ein dokumentiertes manuelles Ausweichverfahren geben, das innerhalb der vorangegangenen 12 Monate getestet wurde.
3. Aussetzungen und ihre Gründe werden im Register vermerkt.

Artikel 3. Unabhängige Aussetzungsbefugnis

1. Das von allen verantwortlichen Organen unabhängige Aufsichtsgremium kann aus eigener Initiative, auf Verweis der Ombudsstelle oder auf Antrag von 1% der Mitglieder die Aussetzung jedes registrierten Systems anordnen.
2. Eine Aussetzung ist zwingend, wenn einer der folgenden Sachverhalte festgestellt wird: Die Fehlerquote in einer überwachten Stichprobe überschreitet den im Registereintrag genannten Schwellenwert; die Ergebnisse unterscheiden sich zwischen geschützten Gruppen stärker als die im Eintrag angegebene Toleranz, ohne dass eine vom Gremium akzeptierte Rechtfertigung vorliegt; das System wird außerhalb des registrierten Zwecks eingesetzt; oder das verantwortliche Organ kann keine Entscheidungsprotokolle vorlegen.
3. Ein ausgesetztes System darf erst wieder eingesetzt werden, wenn das Gremium davon überzeugt ist, dass die Ursache behoben wurde. Seine begründete Entscheidung wird veröffentlicht.

Artikel 4. Überprüfung früherer Entscheidungen

1. Wird ein System wegen systematischer Fehler ausgesetzt, ermittelt das verantwortliche Organ alle Entscheidungen, die seit Beginn des Fehlers möglicherweise betroffen waren, und überprüft sie. Dabei beginnt es mit den Entscheidungen, durch die eine Schuld oder Strafe auferlegt oder eine Leistung entzogen wurde.
2. Die Beitreibung von Geldbeträgen auf Grundlage betroffener Entscheidungen wird bis zum Abschluss der Überprüfung ausgesetzt.
3. Personen, deren Entscheidungen geändert werden, werden schriftlich benachrichtigt und gemäß der Haushaltsregel entschädigt.

Artikel 5. Autonome Systeme

1. Ein System der autonomen Rollenstufe darf erst nach Genehmigung durch die Versammlung auf Grundlage einer veröffentlichten Folgenabschätzung und einer unabhängigen Prüfung registriert werden.
2. Seine Genehmigung erlischt nach zwei Jahren, sofern sie nicht nach demselben Verfahren erneuert wird.
3. Jede von ihm erlassene Entscheidung enthält einen Hinweis darauf, dass sie automatisiert getroffen wurde, sowie darauf, wie innerhalb von 30 Tagen eine Überprüfung durch einen Menschen beantragt werden kann.
4. Kein autonomes System darf über Freiheitsentzug, den Ausschluss aus der Mitgliedschaft, die Herausnahme von Kindern oder die Verweigerung existenzsichernder Leistungen entscheiden.