对自动化决策提出异议：解释、人工复核与申诉

当公共机构或公司使用自动化系统拒绝提供福利、将某人标记为调查对象或拒绝签订合同，受影响者实际上可以采取什么行动？法律提供了三种不同工具：解释权（了解原因）、人工复核权（由工作人员重新审议）和申诉权（将事项提交独立机构处理）。2023年至2026年间，这些工具发生了重大变化。欧盟法院（CJEU）在 SCHUFA 案（C‑634/21，2023年）中裁定，信用评分本身可以构成自动化决策；在 Dun & Bradstreet Austria 案（C‑203/22，2025年）中裁定，人们有权获知“实际采用的程序和原则”；欧盟《人工智能法案》为基于高风险系统作出的决策增加了解释权；欧洲委员会通过了首部具有约束力的人工智能条约；英国改写了自动化决策相关规则；美国联邦和州规则则引入了申诉和人工复核义务。本研究梳理并比较这些权利，并探讨真实案例中的证据表明哪些机制在实践中有助于人们。

主要发现

• 欧盟现已确立可行的解释标准。 在 Dun & Bradstreet Austria 案中，欧盟法院裁定，数据控制者必须说明实际采用的程序和原则，使人们能够了解使用了哪些数据以及如何使用；仅仅说明算法并不足够，而涉及商业秘密的异议应提交法院或监管机构权衡处理。
• “自动化决策”的范围已经扩大。 SCHUFA 案裁定，如果客户赋予评分“决定性作用”，那么根据 GDPR 第22条，该评分即构成自动化个人决策。
• 《人工智能法案》第86条的适用范围比表面看起来更窄。 该条适用于基于附件三所列高风险系统、且会产生法律效果或类似重大影响的决策；仅在欧盟法尚未规定此项权利时适用；并且取决于高风险义务的生效，而2026年《数字综合方案》将这些义务的生效时间推迟至2027年12月2日。
• 各司法管辖区正逐渐趋同于一套共同要求——告知、说明理由、人工介入、提出异议——但对于原则上是否禁止完全自动化决策（欧盟），还是允许在设有保障措施的前提下进行（2025年后的英国、科罗拉多州、美国联邦机构），各方仍有差异。
• 在实践中，个人权利很少能阻止有害系统。 有充分记录的案例——SyRI、Robodebt、荷兰儿童福利补助模型、MiDAS——都是通过策略性诉讼、集体诉讼、监管机构介入和调查才得以叫停；个人申诉虽帮助了当事人，但过程缓慢。
• 人工复核的成效取决于复核人员掌握的信息、可用时间和权限。 来自荷兰和塞尔维亚的证据表明，复核人员会倾向于接受他们无法质询的系统的结论。

研究问题与范围

本研究探讨两个相互关联的问题：受自动化决策影响的人如今享有哪些解释权、人工复核权和申诉权？现有证据表明这些权利中哪些有效？ 研究涵盖欧盟法律（GDPR、欧盟法院判例、《人工智能法案》）、欧洲委员会《框架公约》、英国以及美国联邦和州层面的措施；在 OECD 记录相关规则的情况下，也提及法国。研究重点关注公共部门的决策，但也包括私人信贷评分，因为欧盟法院的主要判决涉及这一领域，且其推理同样适用于公共部门的数据控制者。

背景

三种权利，三种功能

这三项权利相互依存。没有解释，审查者或审裁处就只能在不知道理由的情况下核查结果；没有独立申诉，人工审查可能沦为同一组织内部的形式程序。

学术界的争论

GDPR通过后不久，Wachter、Mittelstadt和Floridi（2017）指出，该法规并未确立具有法律约束力的针对个别自动化决策的“解释权”，至多规定了了解系统功能的权利。Edwards和Veale（2017）认为，无论其范围如何，解释权“可能并非你所寻求的救济”，因为它将负担置于个人身上，而且复杂模型难以作出有意义的解释；他们指出了影响评估等其他工具。Wachter、Mittelstadt和Russell（2018）提出了反事实解释——说明若要得出不同结果，哪些因素必须有所不同——作为一种在不公开模型的情况下向人们提供信息的方式。欧盟法院2025年的判决可被解读为采纳了这一理念的某种形式。

方法与来源

本研究依据一手法律文本（GDPR、《英国2025年数据（使用与访问）法》、修订后的《人工智能法案》、欧洲委员会公约、OMB备忘录M‑25‑21、科罗拉多州法规、加利福尼亚州法规）、欧盟法院就SCHUFA和Dun & Bradstreet Austria发布的官方新闻稿，以及同行评审学术研究。有关实践的证据来自Polity Atlas关于自动化福利执法比较研究的案例研究，以及其对荷兰儿童保育津贴丑闻和Robodebt的研究。

局限。 欧盟法院的判决内容依据法院自己的新闻稿进行概述；法院称这些新闻稿并非官方文本，详细内容应查阅判决全文。若干制度出台时间较近或尚未全面适用，因此关于其影响的证据有限。核查本研究时无法访问欧洲委员会网站，因此公约条款依据荷兰政府条约数据库所载的正式英文文本进行解读；本文不说明该公约目前的批准状况。

发现1：SCHUFA和Dun & Bradstreet案之后的欧盟数据保护法

基准规定：GDPR第22条和第15条

GDPR第22(1)条赋予个人“免受仅基于自动化处理（包括特征分析）且对其产生法律效力或对其产生类似重大影响的决定”的权利。合同、明确同意，以及依据欧盟或成员国法律作出的、并规定适当保障措施的决定，均属例外。若适用合同或同意例外，第22(3)条要求“至少有权要求控制者进行人工干预、表达其观点并对决定提出异议”。第15(1)(h)条赋予个人获取此类决定中“关于所涉逻辑的有意义信息”的权利。

SCHUFA案（C‑634/21），2023年12月7日

德国信用机构SCHUFA生成银行使用的评分。法院裁定，评分“必须被视为GDPR原则上禁止的‘自动化个人决策’，只要SCHUFA的客户（如银行）在授信时赋予该评分决定性作用”。其意义在于结构层面：这项权利适用于生成决定性评分的机构，而不仅是正式作出决定的机构。对公共部门而言，这意味着，如果某项风险评分在实践中决定是否调查或驳回一项申请，那么即便最终结果由官员签署，该评分本身也可能落入第22条的适用范围。

Dun & Bradstreet Austria案（C‑203/22），2025年2月27日

一家移动运营商因Dun & Bradstreet进行的自动化信用评估，拒绝与一名客户签订月费为€10的合同。奥地利法院此前已认定，该公司未能提供“关于所涉逻辑的有意义信息”。在一项有关执法的问题被提交裁决后，法院裁定：

• 控制者必须“描述实际采用的程序和原则，使数据主体能够理解使用了其哪些个人数据，以及这些数据是如何被使用的”；
• “尤其可以适当地告知数据主体，纳入考量的个人数据若有所变化，在多大程度上会导致不同结果”——这是一种反事实式解释；
• “仅仅传达算法并不构成足够简明易懂的解释”；
• 若控制者声称相关信息包含第三方数据或商业秘密，则必须向主管监管机构或法院提供该信息，由其权衡相关利益；任何在涉及商业秘密时一概排除信息获取权的国内规则均不允许。

法院自己的标题指出：“所提供的解释必须使数据主体能够理解并质疑自动化决策。”因此，解释是根据其在提出异议过程中的功能来界定的。

发现2：欧盟《人工智能法案》

第86条：针对高风险决策的解释权

《人工智能法案》第86(1)条赋予“任何受影响人士”一项权利：如果其受到部署者基于附件三所列高风险人工智能系统的输出作出的决定的影响（附件三第2点所述系统，即关键基础设施系统除外），且该决定产生法律效力，或以类似方式对其产生重大影响，而其认为该影响不利于自身健康、安全或基本权利，则有权获得“关于人工智能系统在决策程序中所发挥作用以及所作决定主要要素的清晰且有实质意义的解释”。第86(3)条规定，该条“仅在第1款所述权利未由欧盟法律另行规定的范围内”适用——因此，如果《通用数据保护条例》（GDPR）已规定解释义务，则适用GDPR。

《数字综合法案》出台后的适用时间

《人工智能法案》的一般适用日期为 2026 年 8 月 2 日。不过，《欧盟条例 (EU) 2026/1744》（《人工智能数字综合法案》）修订了第113条，使第三章第1至第3节——高风险系统的核心义务——对附件三所列系统自 2027 年 12 月 2 日 起适用，对附件一所列系统自 2028 年 8 月 2 日 起适用。由于第86条以附件三所列高风险系统为参照，其在高风险制度适用前的实际效力尚不确定；主管机关和法院将如何处理这一过渡期，仍有待观察。

《人工智能法案》规定的其他途径

该法还允许任何人向市场监督主管机关提出投诉，要求高风险系统的部署者在使用系统时实施人工监督，并要求公法领域的部署者对某些附件三所列系统开展基本权利影响评估。这些大多属于事前义务；第86条是主要的个人救济途径。

发现 3：欧洲委员会框架公约

《人工智能、人权、民主和法治框架公约》（CETS No. 225）于 2024 年 9 月 5 日在维尔纽斯开放签署。第四章涉及救济。第14条要求各缔约方“在其国际义务要求且符合其国内法律制度的范围内”，确保为人工智能系统造成的人权侵害提供“可及且有效的救济”，包括采取措施记录有关系统的相关信息——这类系统可能对人权产生重大影响——并在适当情况下向受影响者提供这些信息；确保这些信息“足以使受影响者对该系统作出或实质性影响的决定提出异议”；以及确保“相关人士能够有效地向主管机关提出投诉”。第15条要求，在人工智能系统“对人权的享有产生重大影响”时提供有效的程序保障，并要求缔约方“力求确保”人们获知自己正在与人工智能系统互动。这些义务以一般性方式作出规定，留给缔约方实施方面的裁量空间，且仅对缔约方具有约束力：根据第30(3)条，公约将在包括至少三个欧洲委员会成员国在内的五个签署方批准后三个月生效。

发现 4：2025 年后的英国

《2025年数据（使用与访问）法》于 2025 年 6 月 19 日获得王室御准，并以新的第22A至22D条取代《英国通用数据保护条例》第22条。这一做法的转变意义重大：

• 如果在作出决定时没有有意义的人为参与，则该决定「仅基于自动化处理」；如果该决定产生法律效力或类似的重大影响，则属于「重大」决定；
• 仅基于自动化处理的重大决定并非原则上遭到禁止，而主要是在依赖特殊类别数据时受到限制——只有在取得明确同意，或该决定为履行合同所必需、或法律要求或授权作出且适用第9(2)(g)条的重大公共利益条件时才允许；亦可依据新的「公认的合法利益」基础作出；
• 作出此类决定时，控制者必须提供保障措施，以「向数据主体提供有关决定的信息」、「使数据主体能够陈述意见」、「使数据主体能够获得人工介入」并「使数据主体能够对该等决定提出异议」；
• 国务大臣可通过法规界定何为有意义的人为参与，以及何为类似的重大影响。

因此，英国已从「禁止为原则、例外许可」模式转向「许可为原则、保障措施为条件」模式，同时保留了四项核心保障措施。

发现5：美国

联邦层面不存在针对自动化决策的一般性解释权或申诉权；取而代之的是一套零散的规定：

• 联邦机构。 OMB备忘录 M‑25‑21（2025年4月3日）撤销并取代了 M‑24‑10，要求各机构在365天内对「高影响AI」采用最低限度的风险管理实践，其中包括「确保受AI赋能决策影响的个人能够及时获得人工审查，并有机会对任何负面影响提出申诉（如适当）」。机构首席人工智能官可豁免最低实践要求；豁免情况须予以跟踪、报告并公开汇总。
• 科罗拉多州。 SB24‑205于2024年5月17日获批准，要求部署会作出或实质性影响重大决策的高风险AI系统者向消费者发出通知，给予其纠正不准确个人数据的机会，并提供「在技术上可行的情况下，通过人工审查对不利的重大决策提出申诉的机会」。SB25B‑004于2025年8月28日签署，将这些要求的生效日期延至2026年6月30日。2026年5月，州议会改变了方向：SB26‑189于2026年5月14日签署，将2024年的条款废止并重新颁布为一项针对用于实质性影响重大决策的「自动化决策技术」的法律，相关义务自2027年1月1日起生效。部署者必须在交互发生时发出通知，并在不利结果出现后的30天内，以通俗语言说明该技术所起的作用；消费者可请求获取其数据、纠正事实上不准确的数据，以及「有意义的人工审查和重新考虑」；执法权由州检察长行使，且未创设新的私人诉权。
• 加利福尼亚州。 加利福尼亚州隐私保护局的法规于2025年9月22日获批准，自2026年1月1日起生效，并按阶段设定合规日期；这些法规落实了消费者了解企业使用自动化决策技术相关信息并选择退出此类使用的权利。
• 纽约市。 2021年《地方第144号法》禁止雇主使用自动化就业决策工具，除非该工具在一年内接受过偏见审计、审计结果公开，且候选人收到通知——这是审计与通知模式，不赋予个人申诉权。

比较

发现6：实践中哪些做法有效

系统性途径优于个体途径

在记录最为详尽的案例中，起决定作用的干预措施是集体性或制度性的：

• 战略诉讼。 在 SyRI 案中，民间社会组织联盟成功争取到法院判决，认定相关立法违反《欧洲人权公约》第8条。法院认为，如果无法了解风险模型，“就很难理解数据主体如何能够为自己辩护”——也就是说，将透明度视为个人提出异议的先决条件。
• 集体诉讼。 Robodebt 集体诉讼促成了至少18亿美元（2021年）和5.485亿美元（2026年获批）的和解。
• 监管机构。 荷兰数据保护机构认定基于国籍的风险指标违法，并对税务机关处以罚款。
• 调查。 荷兰议会调查和澳大利亚皇家委员会调查迫使政府承担政治责任。

个人申诉的作用主要在于发出信号。在密歇根州，律师注意到成功的欺诈申诉数量激增，之后才发现 MiDAS 在未进行人工审查的情况下便作出认定。在塞尔维亚，国际特赦组织记录了一名女性的案例：她在数月没有收入后，在免费法律援助下于第二次申诉时成功恢复了资格。

缺乏信息、时间和权限时，人工审查难以奏效

荷兰儿童保育津贴审查人员并未获知某项申请为何被评为高风险。塞尔维亚社会工作者告诉申领人，决定是“贝尔格莱德的新系统”作出的。来自荷兰的实验性证据（Alon-Barkat and Busuioc, 2023）发现，自动化并未普遍导致自动化偏见，但人们倾向于听从符合群体刻板印象的建议；在儿童保育丑闻发生后不久接受测试的公务员中，则未发现这种倾向。Ben Green（2022）认为，人工监督要求可能带来虚假的安心感，并使有缺陷的系统获得正当性；他主张，机构应转而说明使用算法的理由，并将算法提交制度性监督。

解释只有在能够采取行动时才有效

欧盟法院在 Dun & Bradstreet 案确立的标准——使用了哪些数据、如何使用，以及什么变化会改变结果——属于能够让个人更正数据（如塞尔维亚案例中错误记录的收入或已报废汽车）或质疑方法（如 Robodebt 案中的平均值计算）的解释。笼统描述“算法”并不能做到这一点。

证据未能说明什么

• 目前关于新制度效果的证据很少。 第86条、英国第22A–22D条以及科罗拉多州的人工审查权都实施时间太短，尚无结果数据。
• 这并不表明个人权利毫无用处。 个人权利是系统性补救的必要基础；诉讼联盟和监管机构往往以个人投诉为依据开展工作。
• 这并不表明总能给出解释。 对于某些复杂模型，如何忠实解释个体结果在技术上仍有争议；欧盟法院的标准通过聚焦于实际采用的数据和原则，避开了这一问题。
• 这并未确定审查人员推翻系统决定的频率。 很少有公共机构公布自动化决定的推翻率或申诉成功率。

对制度设计的启示

与任何单一权利相比，证据更支持分层设计：

1. 通知：在作出决定时告知当事人使用了自动化系统。
2. 可据以采取行动的理由：说明所用数据、数据的使用方式，以及哪些改变会导致结果不同——即 Dun & Bradstreet 标准；商业秘密争议应由独立机构而非数据控制者裁定。
3. 真正的人工审查：审查人员能够了解系统给出的理由，有时间调查，并拥有明确的推翻权限；公布推翻率。
4. 独立申诉：在申诉待决期间暂停追偿或制裁，并为低收入申领人提供法律援助。
5. 系统性触发机制：向监管机构或监察专员报告汇总后的申诉统计数据；赋予暂停系统的权力，并提供集体救济途径。
6. 登记制度和部署前法律签核，以便在方法应用于数千人之前检验其合法性。

未决问题

• 各国法院将如何把 SCHUFA 的“决定性作用”测试适用于公共部门风险评分系统——这些系统在形式上仅用于筛选待审查个案？
• 监管机构是否会按照 Dun & Bradstreet 的要求，制定在商业秘密与访问权之间进行权衡的实用程序？
• 第86条在2027年12月之前将如何实施，委员会的指南是否会阐明其与 GDPR 的关系？
• 英国转向“允许但附带保障措施”模式是否会增加完全自动化决策，“有意义的人类参与”是否会被严格界定？
• 美国联邦政府对最低实践要求的豁免会被谨慎使用，还是成为常规做法？各州是否会向科罗拉多州的人类审查模式靠拢？

来源

1. 欧洲议会和欧盟理事会 (2016). Regulation (EU) 2016/679 (General Data Protection Regulation)，第15条和第22条。
2. 欧盟法院 (2023). Press release No 186/23: SCHUFA Holding (Scoring), C‑634/21，2023年12月7日。
3. 欧盟法院 (2025). Press release No 22/25: Dun & Bradstreet Austria, C‑203/22，2025年2月27日。
4. 欧洲议会和欧盟理事会 (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act)，第86条。
5. 欧洲议会和欧盟理事会 (2026). Regulation (EU) 2026/1744 (Digital Omnibus on AI)。
6. 欧洲委员会 (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law (CETS No. 225)。
7. 英国议会 (2025). Data (Use and Access) Act 2025, section 80。
8. 管理和预算办公室 (2025). Memorandum M‑25‑21: Accelerating Federal Use of AI through Innovation, Governance, and Public Trust。
9. 科罗拉多州议会 (2024). SB24‑205, Consumer Protections for Artificial Intelligence。
10. 科罗拉多州议会 (2025). SB25B‑004, Increase Transparency for Algorithmic Systems。
11. 加利福尼亚州隐私保护局 (2025). CCPA Updates, Cybersecurity Audits, Risk Assessments, ADMT and Insurance Regulations。
12. 纽约市消费者与劳动者保护局。Automated Employment Decision Tools (Local Law 144 of 2021)。
13. OECD (2026). Digital Government Outlook 2026，方框4.7。
14. Wachter, S., Mittelstadt, B. and Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law 7(2): 76–99.
15. Edwards, L. and Veale, M. (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law & Technology Review 16(1): 18–84.
16. Wachter, S., Mittelstadt, B. and Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology 31(2).
17. 海牙地区法院 (2020). SyRI judgment, ECLI:NL:RBDHA:2020:1878。
18. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making. JPART 33(1): 153–169.
19. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.
20. 国际特赦组织 (2023). Trapped by automation，EUR 70/7443/2023。
21. Charette, R. N. (2018). Michigan's MiDAS Unemployment System. IEEE Spectrum。
22. 科罗拉多州议会 (2026). SB26‑189, Automated Decision-Making Technology。
23. 欧洲委员会 (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law — authentic English text，由荷兰政府条约数据库发布。