自動化された福祉給付の執行を比較する：記録に残された7つの制度

2010年代半ば以降、富裕国および中所得国の政府は、福祉給付の執行業務の一部を自動化してきた。過払いを検出するための記録照合、不正リスクに基づく申請のスコアリング、国の登録簿との照合による受給資格の確認などである。こうした制度のうち7つは、裁判所、規制当局、議会または人権研究者による調査を受けたため、現在では特に詳細な記録が残っている。オランダのリスク指標システムSyRIと育児手当リスクモデル、ミシガン州の失業給付システムMiDAS、オーストラリアのRobodebt、デンマークのUdbetaling Danmarkによる不正防止モデル、英国労働年金省（DWP）のユニバーサル・クレジット前払いモデル、そしてセルビアのSocial Card登録簿である。本研究では、システムが何を行ったか、どのようなデータを使ったか、人間がどのような役割を担い続けたか、透明性はどうだったか、異議申立てがどのように可能だったか、そしてどのような結末を迎えたかという共通の観点から比較し、繰り返し見られる失敗のパターンと、証拠が裏付けるセーフガードを明らかにする。

主な知見

• 性質の異なる2種類のシステムが、しばしば一括りにされる。 意思決定の自動化（MiDAS、Robodebt、そして実質的にはセルビアの登録簿）は不利益な判断を直接下した。一方、リスクに基づく選別（SyRI、オランダの育児手当モデル、デンマーク、DWPのモデル）は調査対象者を選んだ。前者では大規模な誤判断が、後者では誰が精査の対象になるかという問題が失敗につながる。
• 最も深刻な被害が記録されているのは、立証責任を逆転させた意思決定自動化によるものだった。 IEEE Spectrumが引用したレビューによると、MiDASはアルゴリズムのみで40,195件の不正案件を判定し、その85%が誤りだった。Robodebtは約433,000人に対し、違法な債務約$1.73 billionを請求した。
• 選別システムは代理指標の使用によって失敗する。 国籍（オランダ）、「外国とのつながり」や「通常とは異なる」世帯構成（デンマーク）、地域による標的化（SyRI）、年齢、障害、婚姻状況、国籍による格差（英国）が繰り返し見られる。選別システムのいずれも、集団別に検証された誤り率を公表していなかった。
• 「最終判断は人間が下す」ことは、人々を守らなかった。 オランダの職員は、申請のスコアが高くなった理由を知らされていなかった。セルビアのソーシャルワーカーは、申請者に「ベオグラードの新しいシステムが決めた」と伝えていた。DWPは、自らの公平性分析で格差が見つかる前に、ケースワーカーの判断を根拠としてモデルが相応であると評価していた。
• 制度を停止させたのは内部評価ではなく、外部機関だった。 裁判所（2020年のSyRI、2019～2021年のRobodebt訴訟）、データ保護規制当局（オランダ）、議会調査、NGOやジャーナリストによる調査がその役割を果たした。
• 繰り返し見られる要因は、政治的・法的なものだ。 削減目標、不正をめぐる言説、困窮時の例外規定を欠く法律、「制度の悪用」への懸念を理由とした秘密主義、そして個人が利用できる救済手段の弱さや遅さである。

研究課題と対象範囲

問いは次のとおりである。自動化された福祉給付の執行に関する、詳細な記録の残る事例を横断して見たとき、どのような設計上の特徴や制度的条件が深刻な被害と結びついており、どのようなセーフガードが実際に機能してきたのか。

事例の選定。 権威ある外部機関――裁判所、規制当局、議会調査委員会、王立委員会――または公文書に基づく詳細な公表調査がシステムを検証している場合、その事例を対象に含めた。この選定方法はスキャンダルを重視するものであり、福祉給付アルゴリズムの無作為標本ではない。現在稼働しているシステムの大半は、そもそも一度も検証されていない。OECDは2026年、政府によるAI利用事例の影響を測定しているのはOECD加盟36か国のうちわずか10か国だと報告した。したがって、未検証の大多数については評価できない。

比較の側面。 各事例について、機能、データ、人間の役割、透明性、異議申立ての経路、結果、そしてシステムを停止させた、または問題を明らかにした機関を比較する。

背景

福祉給付の執行が自動化される理由

資力調査付き給付では、所得、世帯構成、居住地といった、照合可能な小さな事実が大量に生じ、それらは別々のデータベースに保管されている。こうしたデータの照合は低コストであり、政府は不正と誤りをめぐる継続的な政治的圧力に直面している。たとえば英国の雇用年金省（DWP）は、Guardianの報道によれば、年間推定80億ポンドに上る不正と誤りによる損失を減らす取り組みの一環として、自らのモデルを正当化した。しかし、オーストラリアのロボデット王立委員会では、「福祉制度における不正はごくわずかだった」との証言があり、「反福祉のレトリックは容易なポピュリズムだ」と警告された。認識されている不正と測定された不正との隔たりは、繰り返し見られる要因である。

それ以前から続くパターン

これらのシステムは、より長い歴史の中に位置づけられる。Virginia Eubanksの著書 Automating Inequality（2018年）は、米国における受給資格判定の自動化、リスクモデル、登録簿によって、貧困世帯に監視の目が向けられるようになった経緯を記録した。以下の事例は、より強固な法的記録を伴う、その欧州およびオーストラリア版である。

方法と情報源

証拠には、入手可能な場合には一次的な法的・規制上の文書を用いた。これには、ハーグ地方裁判所によるSyRI判決と同事件における国連特別報告者の法廷助言書、ミシガン州司法長官による Bauserman 和解の発表、オランダデータ保護機関の調査結果、オランダ議会の調査委員会の報告が含まれる。また、公文書に基づく詳細な調査として、デンマーク（2024年）およびセルビア（2023年）に関するアムネスティ・インターナショナルの報告書、情報公開法に基づいて公表されたDWPの公平性分析に関するGuardianの報道、MiDASに関するIEEE Spectrumの記事、オーストラリア連邦裁判所と王立委員会に関する報道を用いた。人間による監督の分析には、査読付き研究2件、Alon-BarkatとBusuiocによる実験（2023年）およびGreenによる政策分析（2022年）を用いている。

限界。 NGOの報告書はアドボカシー文書である。事実関係の記述は、情報公開法に基づき入手された公的記録に依拠しているが、法的な結論については、対象となった政府が異議を唱えている（たとえばデンマークのUdbetaling Danmarkは、自らのモデルが禁止されている社会的スコアリングに当たるというアムネスティの見解を否定している）。DWPの公平性分析は、重要な部分が黒塗りされた状態で公表された。MiDASの誤りに関する数値は、裁判所の判決ではなく、専門誌が報じた調査に基づいている。偽陽性、不当な制裁、回収額といった比較可能な成果指標は、事例間でそろっていない。

知見1：システムが行ったこと

意思決定の自動化

MiDAS. IEEE Spectrumの2018年の記事によると、2013年10月から2015年9月にかけて、ミシガン州では34,000人以上が失業保険詐欺で不当に告発され、調査の結果、MiDASは「アルゴリズムのみで40,195件の不正事案を裁定し、その85％で不正との誤った認定を下した」ことが判明した。科されたペナルティは重く、請求額の400％に相当する罰金、賃金差押え、税還付金の充当が含まれた。弁護士らは、異議申立てが認められる件数の急増に気づき、多くの告発が「人の介入も、告発内容を審査する機会もないまま」生成されていたことを突き止めた。給付請求者らは2015年、州を相手取り Bauserman v. Unemployment Insurance Agency を提起した。ミシガン州最高裁判所が2019年に、集団の対象は2015年3月9日以降に初めて金銭を徴収された人々に限られると判断し、2022年7月には州憲法に基づく損害賠償を求められると判断した後、州は2,000万ドルの和解に合意し、ミシガン州請求裁判所が2024年1月29日にこれを承認した。

Robodebt. Robodebtは、証拠を提出しなかった人々について、税務署の年間所得を2週間ごとに配分して債務額を算定した。連邦裁判所では、約433,000人に対して17億3,000万ドルが違法に請求され、約381,000人から7億5,100万ドルが回収されたと明らかにされた。Robodebtの詳細な研究を参照。

セルビア。 社会カード登録簿は適格性を正式に決定するものではないが、アムネスティ・インターナショナルは、緊急審査を促す警告通知を通じて「半自動化された意思決定を導入している」と指摘した。政府の数値によると、2023年8月の受給者は176,000人で、法律が施行された2022年3月より35,000人少なかった。この減少は登録簿の導入と時期が重なっていたが、アムネスティは、このシステムが原因となった給付拒否の正確な数は不明だとしている。

リスク選定

SyRI。 ハーグ地方裁判所の記録によると、2008年から2014年までに160件の介入チーム・プロジェクトが実施され、完了した21件のプロジェクトのうち19件では「地域志向のアプローチ」が採用された。SUWI法が2014年1月1日付で改正された後、ロッテルダム、カペレ・アーン・デン・エイセル、ハールレムの各地区を対象とするものを含め、5件のSyRIプロジェクトが実施された。政府は、リスクモデルと指標を開示すれば、市民がそれに応じて行動を調整できるとして、開示を拒んだ。

オランダの児童手当モデルについては、別の研究で検討されている。データ保護当局は、国籍が指標として使用されていたと認定し、2021年に税務当局に€2.75 millionの罰金を科した。

デンマーク。 アムネスティによると、Udbetaling Danmark（2012年に法律により設立）と、同機関に代わって給付を管理する年金会社ATPは、数百万人の住民に関する登録情報を統合し、プロファイリングモデルを用いて調査対象としてフラグが立てられた人々のリストを作成する共同データ部門を運営している。2019年時点で、同機関は約60のAIおよび機械学習モデルを使用していると報じられていた。あるモデル「国外モデル」は、受給者の「外国との関係」をスコア化し、EEA域外の国々との「中程度および強い結びつき」がある人々を調査対象として優先する。

英国。 ガーディアン紙は2024年12月、2024年2月に実施されたDWPの「公平性分析」によって、ユニバーサル・クレジットの前払い申請を審査する機械学習モデルに、年齢、障害、婚姻状況、国籍による「統計的に有意な結果の格差」があることが判明したと報じた。人種、性別、性的指向、宗教、妊娠、性別適合については、まだ公平性分析が行われていなかった。

知見2：代理指標とデータ品質

保護対象の特性とその代理指標

SyRI訴訟の裁判所は、リスクモデルの使用には「意図的か否かを問わず、差別的な影響が生じるリスクが伴う」と認定し、問題地区を対象にすることで「そうした地域で不正を発見する可能性が高まり」、その結果「地域が問題地区であるというイメージが裏付けられる」という原告らの主張にも言及した。アムネスティのデンマーク報告書も、相対的な指標について同様の点を指摘している。「中程度および強い結びつき」は客観的な基準ではなく、他の受給者との比較によって定義されている。

不適切なデータが意思決定となるとき

セルビアの事例は、高度なモデルがなくても被害が生じることを示している。アムネスティは、ある女性が娘の葬儀費用を賄うため、人権団体から20,000ディナールの支援金を受け取ったところ、登録簿がそれを収入としてフラグ付けし、2023年2月に社会扶助を失った事例を記録している。また、何年も前に廃車として売却された車が依然として自分たちの名義で登録されていたため、支援を失ったロマの家族の事例も記録している。Robodebtの平均化処理も、同様に単純な仮定に基づいていた。いずれの場合も、データ上の誤った痕跡を、その人の生活に関する事実として扱ったことが誤りだった。

知見3：人間が介在することの限界

これらのシステムの大半では、プロセスのどこかに人間が関与していた。それでも被害は防げなかった。

• 理由も判断もない。 アムネスティによると、リスクが高いと判定された児童手当の申請を審査したオランダの公務員は、「なぜシステムがその申請に高リスクのスコアを付けたのかについて、何の情報も与えられていなかった」。
• 判断の追認。 セルビアの申立人らは、ソーシャルワーカーが決定の理由を「新しいシステム」に帰し、通知を覆すことはできないと述べたと、アムネスティに語った。「私にできることは何もない。ベオグラードの新しいシステムが決めたのだ」というのが、最も頻繁に記録された回答だった。
• 形式による保証。 DWPは2024年半ば、モデルは「差別に関する差し迫った懸念をもたらさない」と述べていた。その理由の一つとして、「福祉給付を受けられるかどうかの最終決定は、依然として人間が行う」ことを挙げた。

実験的証拠は、単純な説明を複雑にする。Alon-BarkatとBusuiocはオランダで3つの実験を行った（参加者はそれぞれ605人、904人、1,345人で、最後の実験では公務員をサンプルとした）。一般的な自動化バイアスを示す証拠は見つからなかった。つまり、参加者が同等の人間の専門家による助言よりもアルゴリズムの助言に従う傾向はなかった。しかし、選択的追従は確認された。第2の研究では、集団ステレオタイプに沿う助言に参加者が従う可能性が高かった。この傾向は、児童手当スキャンダルの直後に調査された公務員には見られず、著者らはその理由を、意識の高まりに求めている。Ben Greenはさらに広く、政府のアルゴリズムに人間の監督を求める政策は、アルゴリズムを監督する能力が人々には乏しいという弱い前提に立ち、欠陥のあるシステムを正当化しかねないと論じている。代わりに、機関がアルゴリズムを使用する理由を説明し、監督は個人ではなく制度によって行うべきだと提案している。

知見4：システムがどのように明らかになり、停止されたか

裁判所：主要な先例としてのSyRI

SyRI判決は、最も明確な法的成果である。裁判所は、公共の利益と私生活への干渉との間の「公正な均衡」を求める欧州人権条約第8条2項に照らして、SyRI関連法令を審査した。裁判所は、同法令には「リスク指標およびリスクモデルに関して私生活を尊重される権利を保護するための十分な保障措置が含まれていない」こと、モデルの「単純な決定木」がどのように生成されたのかを検証することは不可能であること、したがって「データ主体が、自分についてリスク報告書が提出されたという事実に対して、どのように自らを弁護できるのか理解するのは困難である」ことを認定した。言い換えれば、透明性は異議申立て可能性の前提条件として扱われた。極度の貧困と人権に関する国連特別報告者フィリップ・オールストンは、2019年9月26日に原告らの主張を支持する法廷助言書を提出しており、判決文には、訴訟手続において原告らがFNV労働組合連合および特別報告者の支援を受けたことが記されている（第6.92段落）。

規制当局と調査委員会

オランダでは、データ保護機関が政治スキャンダルをモデル自体に関する法的認定へと転じさせ、議会調査が政治的責任を追及した。対照的にオーストラリアでは、王立委員会は、オンブズマン、情報コミッショナー、行政不服審判所はいずれも「制度の継続に対する妨げにはほとんどならなかった」と認定した。事態を動かしたのは、訴訟と政権交代だった。

個別の不服申立て

個別の不服申立ては個人を救済したが、制度を止めることはほとんどなかった。ミシガン州では、不服申立ての成功がMiDASの問題を明らかにするきっかけとなった。セルビアでは、アムネスティの記録に、支援を受けられない状態が数か月続いた後、無料の法律扶助を利用した2度目の申立てで復職を勝ち取った女性が記されている。Robodebtの王立委員会は、審判制度がシステム全体を監視する仕組みとして機能していなかったと認定した。

証拠からは分からないこと

• これは、自動化された執行が機能し得ないことを示すものではない。適切に設計されたデータ照合は、こうした弊害を伴わずに誤りを減らせる可能性がある。そのようなシステムが裁判所の判決で取り上げられることはまれであり、ここでは過少に取り上げられている。
• 機械学習が主な危険であることを示すものではない。最も深刻な被害をもたらしたシステムであるMiDASとRobodebtは、ルールと算術に依拠していた。不透明性、代理変数、立証責任の転換は、モデルの種類よりも重要である。
• 比較可能な誤り率を示すものではない。自動化された判断の誤り率が報告されているのはMiDASだけであり、その数値は二次的に報じられたレビューに由来する。
• デンマークと英国の事例に決着をつけるものではない。両国政府は批判者の結論に異議を唱えており、記録資料は部分的で、黒塗りも施されている。
• 一つのセーフガードで十分であることを示すものではない。どの事例でも、複数のセーフガードが同時に欠けていた。

制度設計への示唆

1. データ照合やスコアを証拠として扱ってはならない。不利益な認定には、独立した審査者を納得させられる証拠を要件とすべきであり、立証責任は行政機関が負うべきである。
2. 対象者の選定と制裁を分離する。調査対象として抽出されたことだけを理由に、給付を停止したり、独立した証拠と反論の機会なしにレッテルを貼ったりしてはならない。
3. モデルの根拠と誤りの傾向を公表する。SyRIは、非公開のモデルを裁判所が法的保護と両立しないものと判断することを示している。「不正に利用される」懸念には、運用中の閾値を開示せずとも、ロジックと検証結果を開示することで対処できる。
4. 保護対象属性だけでなく代理変数も検証し、導入前に保護対象となるすべての特性を検証する。DWPが検証していたのは一部にすぎなかった。
5. 審査担当者に判断理由と権限を与える。人間の審査担当者には、フラグが付いた要因に関する情報、調査する時間、判断を覆す明示的な権限が必要であり、さらに自動化された判断に過度に依存しないための研修も必要である。
6. システム的な介入の発動条件を設ける。あるシステムに対する不服申立てが異例の高率で認められた場合、オンブズマンまたは規制当局が審査中にそのシステムを停止できるようにすべきである。
7. 費用全体を算定する。評価では、回収額だけでなく、誤った債務、返金、訴訟、補償も算入すべきである。

未解決の問い

• 外部審査を一切受けずに運用されている自動化された福祉給付の執行システムはどれほどあり、登録簿によってそれらをどのように可視化できるか。
• EU AI Actが、不可欠な公共サービスへのアクセスを高リスクとして扱い、社会的スコアリングを禁止することで、デンマークのような慣行は変わるのか。また、分類をめぐる争いを誰が判断するのか。
• 政府が影響を受けた集団を黒塗りにする場合、公平性の検証を実効的なものにできるのか。
• 集団訴訟や規制当局による罰金のような制度的救済は、将来の被害を抑止するのか、それとも主に過去の被害を補償するのか。
• 肯定的なベンチマークとはどのようなものか。誤り率、異議申立てのデータ、独立監査を公表する自動化された執行システムは実現可能か。

出典

1. Rechtbank Den Haag（2020）。Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878。
2. Charette, R. N.（2018）。Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold。IEEE Spectrum、2018年1月24日。
3. Turner, R.（2021）。Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge。ABC News。
4. The Conversation（2023）。Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'。
5. Autoriteit Persoonsgegevens（2021）。Tax Administration fined for discriminatory and unlawful data processing。
6. Amnesty International（2021）。Xenophobic machines、EUR 35/4686/2021。
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag（2020）。Ongekend onrecht。
8. Amnesty International（2024）。Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state、EUR 18/8709/2024。
9. Booth, R.（2024）。Revealed: bias found in AI system used to detect UK benefits fraud。The Guardian、2024年12月6日。
10. Amnesty International（2023）。Trapped by automation: Poverty and discrimination in Serbia's welfare state、EUR 70/7443/2023。
11. Alon-Barkat, S. and Busuioc, M.（2023）。Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice。Journal of Public Administration Research and Theory 33(1): 153–169。
12. Green, B.（2022）。The flaws of policies requiring human oversight of government algorithms。Computer Law & Security Review 45: 105681。
13. Eubanks, V.（2018）。Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor。ニューヨーク：St. Martin's Press。
14. Carney, T.（2019）。Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10。
15. OECD（2026）。Digital Government Outlook 2026。OECD Publishing、パリ。
16. Alston, P.（2019）。Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI)、2019年9月26日。
17. Michigan Department of Attorney General（2024）。Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency、2024年1月30日。
18. Michigan Department of Attorney General（2022）。State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud、2022年10月20日。