人工智能系统登记册和暂停规则

AI系统登记册与暂停规则

目的

成员应能知晓哪些自动化系统参与了有关自己的公共决策、每个系统由谁负责，以及系统出现故障时如何停止运行。本规则设立公共登记册和暂停程序。它补充而非取代事前影响评估和个人申诉权。

定义

• 自动化系统：利用统计模型、机器学习或规则生成输出（评分、分类、建议、草案或决定）的软件；这些输出用于政治共同体某个机构就个人、群体或公共资源分配作出的决策。
• 责任机构：决定使用该系统并对其使用负责的机构。
• 角色级别：咨询型（输出为人类决策提供参考）、行政型（系统在既定规则范围内作出常规决定）或自主型（系统未经逐案人工批准即作出具有约束力的决定）。

第1条 登记册

1. 除非已在使用前录入公共登记册，否则不得在本规则涵盖的决策中使用任何自动化系统。
2. 每项登记须说明：系统名称和用途；责任机构及一名指定联系人；角色级别；系统影响的决策及每年大致涉及人数；供应商和模型类型；所用数据类别；已采取的人工监督措施；申请人工复核的方法；以及最近一次评估的日期。
3. 发生任何重大变化后，应在30天内更新登记信息。退役系统须在登记册中保留五年，并标注为已退役。

第2条 暂停

1. 有合理理由认为系统正在产生系统性错误或歧视性输出时，责任机构必须暂停使用该系统，并改用有记录的人工程序。
2. 每个登记系统都必须有一套有记录的人工备用程序，并且该程序须在此前12个月内经过测试。
3. 暂停及其理由须记入登记册。

第3条 独立暂停权

1. 监督委员会独立于所有责任机构，可主动暂停任何已登记系统，也可根据监察专员的转交或1%成员的请愿下令暂停。
2. 发现以下任一情形时，必须暂停系统：受监测样本中的错误率超过登记条目所列阈值；受保护群体之间的结果差异超过条目所列容许范围，且委员会不接受相关理由；系统被用于登记用途以外的目的；或责任机构无法提供决策日志。
3. 只有在委员会确信问题原因已得到纠正后，暂停系统方可恢复运行。委员会须公布其决定及理由。

第4条 对过往决策的复核

1. 因系统性错误而暂停系统时，责任机构须找出自错误开始以来所有可能受到影响的决策并进行复核，首先复核导致债务、处罚或福利损失的决策。
2. 在复核完成之前，暂停依据受影响决策追缴款项。
3. 决策被更改的人须收到书面通知，并依照预算规则获得补偿。

第5条 自主系统

1. 只有在议会基于已公布的影响评估和独立审计批准后，处于自主型角色级别的系统方可登记。
2. 除非按照同一程序续期，否则其授权在两年后失效。
3. 系统作出的每项决定都须附有通知，说明该决定由自动化方式作出，以及如何在30天内申请人工复核。
4. 任何自主系统均不得决定剥夺自由、开除成员资格、带离儿童或拒绝提供基本生活保障。