自动化福利执法比较：七个有据可查的系统

自2010年代中期以来，富裕国家和中等收入国家的政府已将福利执法的部分环节自动化：匹配记录以发现超额支付、对申请进行欺诈风险评分，以及根据国家登记系统核查资格。由于法院、监管机构、议会或人权研究人员对其中七个系统进行了审查，这些系统如今有了不同寻常的详尽记录：荷兰的SyRI风险指示系统和儿童保育补贴风险模型、密歇根州的MiDAS失业救济系统、澳大利亚的Robodebt、丹麦Udbetaling Danmark的欺诈管控模型、英国就业与养老金部（DWP）的全民信用预支款模型，以及塞尔维亚的Social Card登记系统。本研究按照一组共同维度对这些系统进行比较——系统的功能、使用的数据、保留了何种人工参与、透明度、申诉渠道以及最终结果——以识别反复出现的失败模式，以及证据支持哪些保障措施。

主要发现

• 两类不同的系统常被混为一谈。 决策自动化（MiDAS、Robodebt，以及实际上塞尔维亚的登记系统）直接作出不利认定；风险筛选（SyRI、荷兰儿童保育模型、丹麦模型和DWP模型）则选择调查对象。第一类系统因大规模错误决策而失效；第二类则因审查对象的选择而失效。
• 有记录以来最严重的伤害，源于举证责任倒置的决策自动化。 IEEE Spectrum援引的一项审查发现，MiDAS仅凭算法裁定了40,195起欺诈案件，其中85%的裁定有误；Robodebt则对约433,000人提出了约17.3亿美元的非法债务追缴要求。
• 筛选系统会在代理指标上失灵。 国籍（荷兰）、“外国关联”和“不寻常”的家庭模式（丹麦）、针对特定社区（SyRI），以及年龄、残障、婚姻状况和国籍方面的差异（英国），都反复出现。没有一个筛选系统公布按群体划分、经过验证的错误率。
• “由人工作出最终决定”并未保护民众。 荷兰官员不知道申请为何会被评为高风险；塞尔维亚社会工作者告诉申请人，“这是贝尔格莱德的新系统作出的决定”；DWP则依赖个案工作人员的决定来判断其模型是否合乎比例，直到该部门自己的公平性分析发现了差异。
• 叫停这些系统的是外部机构，而非内部评估。 发挥作用的是法院（SyRI案于2020年裁决；Robodebt诉讼发生于2019—2021年）、数据保护监管机构（荷兰）、议会调查，以及非政府组织和新闻调查。
• 反复出现的促成条件具有政治和法律性质：节支目标、关于欺诈的论调、不包含困难情形条款的法规、以担心有人“钻空子”为由保持保密，以及薄弱或缓慢的个人救济机制。

研究问题与范围

研究问题是：在有详尽记录的自动化福利执法案例中，哪些设计特征和制度条件与严重伤害相关？哪些保障措施确实发挥了作用？

案例选择。如果某权威外部机构——法院、监管机构、议会调查委员会或皇家委员会——或一项基于官方文件的详细公开调查审查过某系统，该案例便纳入研究。这种选择偏向丑闻，并非对福利算法的随机抽样；大多数在用系统从未接受过任何审查。OECD在2026年报告称，36个OECD国家中，只有10个衡量任何政府AI应用案例的影响，因此无法评估未经审查的多数系统。

比较维度。各案例从功能、数据、人类角色、透明度、申诉途径、结果，以及叫停或揭露该系统的机构等方面进行比较。

背景

福利执法为何走向自动化

经经济状况审查的福利会产生大量细小且可核查的事实信息——收入、家庭构成、居住地——这些信息保存在不同的数据库中。对这些信息进行匹配成本低廉，而政府持续面临围绕欺诈和错误的政治压力。例如，据《卫报》报道，英国DWP为其模型辩护，称该模型是减少每年因欺诈和错误而损失的估计80亿英镑所作努力的一部分。然而，澳大利亚针对Robodebt的皇家委员会听取的证词称，“福利制度中的欺诈微不足道”，并警告说，“反福利言论是容易煽动的民粹主义”。感知到的欺诈与实际测得的欺诈之间的差距，是反复出现的驱动因素。

更早的模式

这些系统有着更长的历史渊源。Virginia Eubanks的《自动化的不平等》（Automating Inequality，2018）记录了美国的资格审查自动化、风险模型和登记系统如何将审查重点转向贫困家庭；下文案例是其欧洲和澳大利亚的对应案例，如今也留下了更充分的法律记录。

方法与来源

证据尽可能来自一手法律和监管文件——海牙地方法院对SyRI案的判决及联合国特别报告员在该案中的法庭之友意见书、密歇根州总检察长关于Bauserman和解案的公告、荷兰数据保护局的调查结果、荷兰议会调查——以及基于官方文件的详细调查：国际特赦组织关于丹麦（2024）和塞尔维亚（2023）的报告、《卫报》对依据《信息自由法》公布的一项DWP公平性分析的报道、IEEE Spectrum对MiDAS的报道，以及对澳大利亚联邦法院和皇家委员会相关情况的报道。关于人类监督的分析使用了两篇同行评审文献：Alon-Barkat和Busuioc的实验研究（2023）以及Green的政策分析（2022）。

局限性。非政府组织报告属于倡议性文件；其事实描述依据的是通过信息获取法律取得的官方记录，但相关政府对其法律结论存在异议（例如，丹麦的Udbetaling Danmark不接受国际特赦组织关于其模型构成被禁止的社会评分的观点）。DWP的公平性分析公布时，关键部分已被删节。MiDAS的错误数据来自一家技术杂志报道的审查，而非法院判决。各案例之间不存在可比的结果指标——误报、错误制裁、追缴金额等。

发现1：这些系统的用途

决策自动化

MiDAS。 IEEE Spectrum 2018年的报道指出，2013年10月至2015年9月期间，密歇根州有超过34,000人被错误指控犯有失业保险欺诈；一项审查发现，MiDAS“仅凭算法就裁定了40,195起欺诈案件，其中85 percent的欺诈认定有误”。处罚十分严厉——按申领金额处以400%的罚款、扣押工资并截留退税——律师注意到成功上诉案件激增，随后发现许多指控是在“没有人工介入、也不可能对指控进行审核”的情况下生成的。申领人于2015年起诉该州，案件为 Bauserman v. Unemployment Insurance Agency；密歇根州最高法院于2019年裁定，集体诉讼仅限于2015年3月9日或之后首次被收取款项的人；2022年7月，法院又裁定他们可以依据州宪法寻求损害赔偿。此后，该州同意支付$20 million达成和解，密歇根州索赔法院于2024年1月29日批准了该和解。

Robodebt。 对于未提供证据的人，Robodebt将其税务机关的年度收入分摊至各个双周周期，据此追缴债务；联邦法院获悉，该计划曾向约433,000人非法追缴$1.73 billion，并从约381,000人处收回$751 million。参见Robodebt完整研究。

塞尔维亚。社会卡登记系统并不正式决定资格，但国际特赦组织发现，它通过触发紧急审查的红旗通知“引入了半自动化决策”。政府数据显示，2023年8月有176,000名受助者，比2022年3月该法生效时少了35,000人——受助人数的下降与该登记系统同时出现，不过国际特赦组织指出，因该系统而被拒绝的确切人数尚不明确。

风险筛选

SyRI。海牙地区法院的记录显示，2008年至2014年间共开展了160个干预小组项目，在21个已完成项目中的19个采用了“以社区为导向的方法”。《SUWI法》修订并于2014年1月1日生效后，开展了五个SyRI项目，包括在鹿特丹、卡佩勒安登艾瑟尔和哈勒姆部分社区开展的项目。国家拒绝披露风险模型和指标，理由是公民可能会据此调整行为。

荷兰儿童保育津贴模型见一项单独研究：数据保护机构发现，该模型使用国籍作为一项指标，并于2021年对税务机关处以€2.75 million罚款。

丹麦。国际特赦组织报告称，Udbetaling Danmark（依据2012年法律设立）及代表其管理福利的养老金公司ATP运营着一个联合数据部门，该部门合并数百万居民的登记数据，并使用画像模型生成被标记为需要调查的人员名单；据报道，截至2019年，该机构使用了约60个人工智能和机器学习模型。其中一个模型“境外模型”对受益人的“外国关联”进行评分，并优先调查与非欧洲经济区国家有“中等和较强联系”的人员。

英国。《卫报》于2024年12月报道，英国工作与养老金部（DWP）于2024年2月开展的一项“公平性分析”发现，用于审核全民信贷预支申请的机器学习模型在年龄、残障状况、婚姻状况和国籍方面存在“具有统计显著性的结果差异”；当时尚未针对种族、性别、性取向、宗教、怀孕或性别重置开展公平性分析。

发现2：代理变量与数据质量

受保护特征及其代理变量

SyRI案件的法院认定，使用风险模型“存在产生歧视性影响的风险——无论是有意还是无意”，并指出原告提出的论点：针对问题社区“会增加在这些地区发现违规情况的可能性”，而这“反过来又会强化某社区属于问题地区的印象”。国际特赦组织关于丹麦的报告也对相对指标提出了同样的观点：“中等和较强联系”是相对于其他受益人界定的，而非依据客观标准。

将错误数据当作决策依据

塞尔维亚表明，造成伤害并不需要复杂的模型。国际特赦组织记录了一名女性的案例：2023年2月，一家人权组织向她支付了20,000第纳尔的救助款，帮助支付女儿的葬礼费用；登记系统将这笔款项标记为收入，之后她失去了社会救助。还有罗姆人家庭因数年前已卖作废铁的汽车仍登记在自己名下而失去救助。Robodebt采用平均值推算，同样只是一个简单的假设。两种情况下，错误都在于把数据伪影当成一个人生活状况的事实。

发现3：人在环中的局限

这些系统大多在流程的某个环节保留了人工参与，但这并未阻止伤害发生：

• 没有理由，也就无从判断。国际特赦组织报告称，审查高风险儿童保育申请的荷兰公务员“没有得到任何关于系统为何给申请评出高风险分数的信息”。
• 盲目服从。塞尔维亚申请人告诉国际特赦组织，社工将决定归因于“新系统”，并表示他们无法推翻通知；记录最多的回应是：“我什么也做不了，这是贝尔格莱德的新系统作出的决定。”
• 形式上的保证。DWP曾于2024年年中表示，该模型“目前没有引发任何歧视方面的担忧”，部分理由是“是否向某人发放福利款项的最终决定仍由人作出”。

实验性证据使简单的解释变得复杂。Alon-Barkat和Busuioc在荷兰开展了三项实验（参与者分别为605人、904人和1,345人；最后一项的样本由公务员组成）。他们没有发现普遍存在自动化偏见的证据——参与者并不比听从同等水平的人类专家建议更倾向于遵从算法建议——但发现了选择性遵从：在第二项研究中，参与者更可能听从与群体刻板印象相符的建议。在儿童保育津贴丑闻发生后不久接受调查的公务员中，没有出现这一模式；作者将此归因于他们的认知有所提高。Ben Green提出了更广泛的论点：要求政府算法接受人工监督的政策建立在一个薄弱的前提之上——人们不善于监督算法——而且可能使有缺陷的系统获得正当性；他主张，机构应当说明使用算法的理由，并通过制度而非个人实施监督。

发现4：这些系统如何被揭露和叫停

法院：SyRI 作为主要先例

SyRI 判决是最明确的法律结果。法院依据《欧洲人权公约》第8(2)条审查了 SyRI 立法；该条要求公共利益与对私人生活的干预之间实现“公平平衡”。法院认定，相关立法“未提供充分保障，以防范风险指标和风险模型对尊重私人生活权利造成的风险”；模型的“简单决策树”如何生成，无法核实；因此，“很难理解数据主体如何能够为自己辩护，反驳有人就其提交了风险报告这一事实”。换言之，透明度被视为提出异议的先决条件。联合国极端贫困与人权问题特别报告员 Philip Alston 于2019年9月26日提交法庭之友意见书，支持原告的诉讼主张；判决书记载，原告在诉讼过程中得到 FNV 工会联合会和特别报告员的支持（第6.92段）。

监管机构与调查

在荷兰，正是数据保护机构将一场政治丑闻转变为针对模型本身的法律认定，而议会调查则迫使政治人物承担责任。相比之下，在澳大利亚，皇家委员会认定，监察专员、信息专员和行政上诉法庭几乎未能“阻碍该计划继续实施”；发挥作用的是诉讼和政府更迭。

个别上诉

个别上诉帮助了当事人，但很少能叫停系统。在密歇根，成功的上诉成为揭露 MiDAS 的信号。在塞尔维亚，国际特赦组织记录了一名女性的经历：她在数月得不到扶助后，第二次尝试时在免费法律援助的帮助下成功恢复了福利。Robodebt 皇家委员会认定，仲裁庭制度未能发挥系统性制衡作用。

证据未能表明什么

• 这并不表明自动化执法无法奏效。 设计良好的数据匹配或许能在不造成这些伤害的情况下减少错误；此类系统很少成为法院判决的审理对象，因此在此处所列案例中占比不足。
• 这并不表明机器学习是主要危险。 造成最严重损害的系统——MiDAS 和 Robodebt——依赖的是规则和算术。与模型类型相比，不透明性、代理变量和举证责任倒置更为重要。
• 这并未提供可比的错误率。 只有 MiDAS 报告了自动化决策的错误数字，而且该数字来自二手转述的一项审查。
• 这并未对丹麦和英国的案例作出定论。 两国政府都对批评者的结论提出异议；记录材料并不完整，且部分内容经过删节。
• 这并不表明一项保障措施就足够。 在每个案例中，都有多项保障措施同时缺失。

对制度设计的启示

1. 绝不能把数据匹配结果或评分当作证据。 作出不利认定应以足以令独立审查者信服的证据为依据；举证责任应由主管机关承担。
2. 将筛查与制裁分开。 被标记为需要核查，不应导致付款中止或被贴上标签，除非有独立证据且当事人有机会回应。
3. 公布模型的依据及其错误情况。 SyRI 表明，法院会认定未披露的模型与法律保护不相容。对于“规避系统”的担忧，可以通过披露逻辑和验证结果来应对，而无需公开正在使用的阈值。
4. 不仅要测试受保护属性，还要测试代理变量，并在部署前测试所有受保护特征——英国工作与养老金部（DWP）当时只测试了其中一部分。
5. 向审查人员提供理由和权限。 人工审查人员需要了解触发标记的因素、有时间进行调查，并拥有明确的推翻决定权；此外，还应接受培训，以避免盲从系统结果。
6. 设立系统性触发机制。 当针对某一系统的上诉异常频繁地胜诉时，监察专员或监管机构应有权在审查期间暂停该系统。
7. 计算全部成本。 评估应计入错误债务、退款、诉讼和赔偿，而不仅仅是追缴金额。

未决问题

• 有多少自动化福利执法系统在未接受任何外部审查的情况下投入使用？登记名册如何才能使这些系统为人所知？
• 《欧盟人工智能法案》将获取基本公共服务视为高风险领域，并禁止社会评分；这是否会改变丹麦这类做法？又由谁裁定分类争议？
• 当政府对受影响群体的信息进行删节时，公平性测试如何才能具有实质意义？
• 集体诉讼和监管机构罚款等系统性救济，能否遏制未来的伤害，还是主要用于补偿既往伤害？
• 积极的基准应是什么样子——一个公布错误率、异议数据并接受独立审计的自动化执法系统？

来源

1. 海牙地方法院（2020）。Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N.（2018）。Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum，2018年1月24日。
3. Turner, R.（2021）。Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News。
4. The Conversation（2023）。Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. 荷兰数据保护局（2021）。Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International（2021）。Xenophobic machines，EUR 35/4686/2021。
7. 儿童保育津贴议会调查委员会（2020）。Ongekend onrecht。
8. Amnesty International（2024）。Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state，EUR 18/8709/2024。
9. Booth, R.（2024）。Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian，2024年12月6日。
10. Amnesty International（2023）。Trapped by automation: Poverty and discrimination in Serbia's welfare state，EUR 70/7443/2023。
11. Alon-Barkat, S. and Busuioc, M.（2023）。Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169。
12. Green, B.（2022）。The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681。
13. Eubanks, V.（2018）。Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. 纽约：St. Martin's Press。
14. Carney, T.（2019）。Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10。
15. OECD（2026）。Digital Government Outlook 2026. OECD Publishing，巴黎。
16. Alston, P.（2019）。Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI)，2019年9月26日。
17. 密歇根州总检察长办公室（2024）。Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency，2024年1月30日。
18. 密歇根州总检察长办公室（2022）。State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud，2022年10月20日。