自動化された決定への異議申立て：説明、人による審査、異議申立て

公的機関や企業が自動化システムを使って給付を拒否したり、調査対象として人物にフラグを立てたり、契約を拒絶したりしたとき、影響を受けた人は実際に何ができるのだろうか。法律は、異なる3つの手段を設けている。すなわち、理由を知るための説明を受ける権利、人が再検討するための人による審査を受ける権利、そして独立機関に問題を付託するための不服申立ての権利である。2023年から2026年にかけて、これらの手段は大きく変化した。欧州連合司法裁判所（CJEU）は、SCHUFA（C‑634/21、2023年）において、信用スコア自体が自動化された決定となり得ると判示し、Dun & Bradstreet Austria（C‑203/22、2025年）では、人々は「実際に適用された手順および原則」の説明を受ける権利を有すると判示した。EU AI法は、高リスクシステムに基づく決定について説明を受ける権利を追加した。欧州評議会は初の拘束力あるAI条約を採択し、英国は自動化された決定に関する規則を書き換え、米国の連邦および州の規則は、不服申立てと人による審査の義務を導入した。本稿では、これらの権利を整理・比較し、実際の事例から得られた証拠に基づき、どの仕組みが実際に人々の役に立つのかを検討する。

主な知見

• EUでは、実効性のある説明基準が確立された。 Dun & Bradstreet Austriaにおいて、CJEUは、どのデータが使われ、どのように用いられたのかを人々が理解できるよう、管理者は実際に適用された手順と原則を説明しなければならないと判示した。アルゴリズムを伝えるだけでは不十分であり、営業秘密に関する異議は、裁判所または監督機関が衡量すべきものである。
• 「自動化された決定」の範囲が広がった。 SCHUFAは、依頼者がスコアに「決定的な役割」を与えている場合、そのスコアはGDPR第22条に基づく自動化された個人に関する決定であると判示した。
• AI法第86条の適用範囲は、一見した印象より狭い。 同条は、法的効果またはこれに類する重大な影響を伴う、附属書IIIの高リスクシステムに基づく決定を対象とし、EU法がすでに当該権利を定めていない場合に限って適用される。また、高リスクに関する義務が2026年のデジタル・オムニバスによって2027年12月2日まで延期されたことにも左右される。
• 法域間では、通知、理由の提示、人の介入、異議申立てという共通の選択肢に収斂しつつあるが、原則として専ら自動化された決定を禁止するのか（EU）、それとも安全措置を条件に認めるのか（2025年以降の英国、コロラド州、米国連邦機関）という点では異なる。
• 実際には、個人の権利が有害なシステムを止めた例はほとんどない。 十分に記録された事例――SyRI、Robodebt、オランダの児童手当モデル、MiDAS――では、戦略的訴訟、集団訴訟、規制当局、調査委員会などによってシステムが停止された。個人の不服申立ては個人の助けにはなったものの、その対応には時間を要した。
• 人による審査の質は、審査担当者が得られる情報、時間、権限に左右される。 オランダとセルビアの証拠からは、審査担当者が十分に問いただすことのできないシステムの判断に追随していたことが示されている。

研究課題と対象範囲

本稿では、相互に関連する2つの問いを検討する。自動化された決定の対象となる人々には、説明、人による審査、不服申立てに関するどのような法的権利が現在存在するのか。また、それらのうちどれが有効かについて、証拠は何を示しているのか。対象とするのは、EU法（GDPR、CJEUの判例法、AI法）、欧州評議会枠組条約、英国、ならびに米国の連邦および州の措置であり、OECDが規則を記録しているフランスについても触れる。主に公共部門の決定に焦点を当てるが、主要なCJEU判決が信用スコアリングに関するものであり、その論拠が公的機関の管理者にも当てはまるため、民間の信用スコアリングも取り上げる。

背景

3つの権利、3つの機能

この三つは相互に依存している。説明がなければ、審査者や審判所は理由が分からないまま結果を確認することになる。独立した不服申立てがなければ、人間による審査は同じ組織内の形式的な手続きになりかねない。

学術的な議論

GDPRの採択後間もなく、Wachter、Mittelstadt、Floridi（2017）は、個人に関する自動化された決定について法的拘束力のある「説明を受ける権利」は規則に存在せず、認められているとしても、システムの機能について知らされる権利にすぎないと論じた。EdwardsとVeale（2017）は、その範囲がどのようなものであれ、説明を受ける権利は「おそらくあなたが求めている救済策ではない」と論じた。個人に負担を課すうえ、複雑なモデルについて意味のある説明を行うことは難しいためである。彼らは、影響評価などの他の手段を挙げた。Wachter、Mittelstadt、Russell（2018）は、モデルを開示せずに人々に情報を提供する方法として、反実仮想的説明――異なる結果を得るには何が異なっていなければならなかったかを示す説明――を提案した。EU司法裁判所の2025年判決は、この考え方の一形態を採用したものと読むことができる。

方法と資料

本研究は、主要な法的文書（GDPR、英国の2025年データ（利用およびアクセス）法、改正後のAI法、欧州評議会条約、OMB覚書M‑25‑21、コロラド州法、カリフォルニア州規則）、SCHUFAおよびDun & Bradstreet Austriaに関するEU司法裁判所の公式プレスリリース、ならびに査読済みの研究に依拠している。実務に関する証拠は、Polity Atlasの自動化された福祉給付執行に関する比較研究と、オランダの保育手当スキャンダルおよびロボデットに関する研究の事例研究に基づく。

限界。 EU司法裁判所の判決は、裁判所が非公式と説明している同裁判所自身のプレスリリースに基づいて要約している。詳細については全文を参照されたい。いくつかの制度は導入されて間もないか、まだ全面的には適用されていないため、その効果を示す証拠はほとんどない。本研究の確認時には欧州評議会のウェブサイトにアクセスできなかったため、条約の各条文はオランダ政府の条約データベースに掲載された正文の英語版で確認した。また、現在の批准状況はここでは示していない。

知見1：SCHUFA判決およびDun & Bradstreet判決後のEUデータ保護法

基準となる規定：GDPR第22条および第15条

GDPR第22条第1項は、「プロファイリングを含む、もっぱら自動化された処理に基づく決定であって、本人に法的効果をもたらすもの、または本人に同様に重大な影響を及ぼすものの対象とされない権利」を個人に認めている。例外は、契約、明示的な同意、および適切な保護措置を定めた連合法または加盟国法によって認められた決定について存在する。契約または同意に関する例外が適用される場合、第22条第3項は、「少なくとも、管理者による人間の介入を得る権利、自らの見解を表明する権利、および決定に異議を申し立てる権利」を求めている。第15条第1項(h)は、そのような決定における「関係するロジックについての意味のある情報」へのアクセス権を認めている。

SCHUFA（C‑634/21）、2023年12月7日

ドイツの信用調査機関SCHUFAは、銀行が利用するスコアを作成していた。裁判所は、「SCHUFAの顧客である銀行などが、信用供与の可否において当該スコアに決定的な役割を与える限り、スコアリングは、GDPRによって原則として禁止される『自動化された個人に関する決定』とみなされなければならない」と判示した。その意義は、制度の構造に関わる。権利は、形式上決定を下す機関だけでなく、決定的なスコアを作成する機関にも及ぶ。公共部門についていえば、実務上、申立てを調査するか却下するかを決定するリスクスコアは、たとえ職員が最終結果に署名しても、それ自体が第22条の適用対象となる可能性があることを示唆している。

Dun & Bradstreet Austria（C‑203/22）、2025年2月27日

携帯電話事業者は、月額10ユーロの契約を顧客に拒否した。その理由は、Dun & Bradstreetによる自動化された信用評価だった。オーストリアの裁判所はすでに、同社が「関係するロジックについての意味のある情報」を提供できなかったと認定していた。執行に関する付託を受け、裁判所は次のように判示した。

• 管理者は、「データ主体が、どの個人データが使用され、どのように使用されたのかを理解できるような形で、実際に適用された手順と原則を説明しなければならない」；
• 「考慮された個人データに変化があった場合に、どの程度異なる結果になったかをデータ主体に知らせることが、とりわけ適切な場合がある」――これは反実仮想型の説明である；
• 「アルゴリズムを伝えるだけでは、十分に簡潔で理解しやすい説明とはならない」；
• 管理者が、情報には第三者のデータまたは営業秘密が含まれると主張する場合、その情報を権限ある監督機関または裁判所に提供しなければならず、同機関または裁判所が利益衡量を行う。営業秘密が関わる場合に常にアクセスを排除する国内規則は認められない。

裁判所自身が掲げた見出しは、「提供される説明は、データ主体が自動化された決定を理解し、異議を申し立てられるようにするものでなければならない」というものだった。したがって、説明は、異議申立てにおいて果たす機能によって定義されている。

知見2：EU AI法

第86条：ハイリスクの決定に関する説明を受ける権利

AI法第86条第1項は、「附属書IIIに列挙された高リスクAIシステムの出力に基づき導入者が下した決定の対象となる影響を受けた者」のうち、同附属書の第2項（重要インフラ）に該当するシステムを除き、その決定が法的効果を生じさせる、または本人の健康、安全もしくは基本的権利に対し、本人が有害と考える形で、同程度に重大な影響を及ぼす者に、「意思決定手続におけるAIシステムの役割および下された決定の主な要素について、明確かつ有意義な説明」を得る権利を認めている。第86条第3項は、本条が「第1項で言及する権利がEU法の他の規定によって設けられていない範囲に限り」適用されると定めている。したがって、GDPRがすでに説明を規定している場合は、GDPRが適用される。

デジタル・オムニバス後の適用時期

AI法の一般的な適用開始日は2026年8月2日である。ただし、規則（EU）2026/1744（AIに関するデジタル・オムニバス）は第113条を改正し、第III章第1節から第3節まで、すなわち高リスクシステムに関する中核的な義務について、附属書IIIのシステムには2027年12月2日から、附属書Iのシステムには2028年8月2日から適用することとした。第86条は附属書IIIの高リスクシステムを参照して定められているため、高リスク制度の適用開始前に実際上どのような効力を持つかは不確かである。経過期間を当局や裁判所がどう扱うかは、未解決の問題である。

AI法におけるその他の手段

同法はまた、何人も市場監視当局に苦情を申し立てることを認め、高リスクシステムの導入者に人間による監督の下でシステムを使用するよう義務づけ、さらに、特定の附属書IIIシステムを導入する公法上の主体に基本権影響評価の実施を義務づけている。これらは主として事前の義務であり、第86条が個人のための主な救済手段である。

認定事項3：欧州評議会枠組条約

人工知能と人権、民主主義および法の支配に関する枠組条約（CETS No. 225）は、2024年9月5日にヴィリニュスで署名のために開放された。第IV章は救済を扱う。第14条は、各締約国に対し、「その国の国際的義務により救済が求められ、かつ国内法制度に適合する範囲において」、AIシステムに起因する人権侵害に対して「利用可能かつ実効的な救済」を確保するよう求めている。これには、人権に重大な影響を及ぼす可能性のあるシステムに関する関連情報を記録し、適切な場合には影響を受けた者が利用できるようにする措置、当該システムによって下された、または実質的にその判断に依拠した決定に「影響を受けた者が異議を申し立てるのに十分な」情報を確保すること、ならびに「関係者が所管当局に苦情を申し立てる実効的な機会」が含まれる。第15条は、AIシステムが「人権の享受に重大な影響を及ぼす」場合に実効的な手続上の保障を求め、また、AIシステムとやりとりしていることを人々に通知するよう締約国に「努める」ことを求めている。義務は一般的な形で定められ、実施方法について締約国に裁量を残しており、締約国のみを拘束する。第30条第3項により、本条約は、少なくとも3か国の欧州評議会加盟国を含む5か国の署名国が批准した後、3か月で発効する。

認定事項4：2025年以降の英国

2025年6月19日に国王裁可を受けた2025年データ（利用・アクセス）法は、英国GDPR第22条を新たな第22A条から第22D条に置き換えた。このアプローチの変更は重要である。

• 意思決定が「意思決定において意味のある人間の関与がない場合、自動処理のみに基づく」とされ、「重大」であるのは、法的効果または同様に重大な影響を生じさせる場合である。
• 自動処理のみによる重大な意思決定は、原則として禁止されるのではなく、主に特別カテゴリーのデータに依拠する場合に制限される。その場合、明示的な同意がある場合、または契約に必要であるか、法律により義務付けられているもしくは認められており、かつ第9条(2)(g)の公益上の重大な利益に関する条件が適用される場合、あるいは新たな「認定された正当な利益」の法的根拠に基づく場合に限り、認められる。
• このような意思決定が行われる場合、管理者は、「データ主体に意思決定に関する情報を提供」し、「データ主体が意見を述べられるようにし」、「データ主体が人間の介入を受けられるようにし」、「データ主体がそのような意思決定に異議を申し立てられるようにする」保護措置を講じなければならない。
• 国務大臣は、何が意味のある人間の関与および同様に重大な影響に当たるかを、規則によって定めることができる。

このように、英国は4つの中核的な保護措置を維持しつつ、例外を伴う禁止モデルから、保護措置を伴う許可モデルへと移行した。

所見5：米国

自動化された意思決定に対する説明または不服申立ての一般的な連邦上の権利はなく、代わりに、断片的な制度が存在する。

• 連邦機関。 2025年4月3日付のOMB覚書M‑25‑21は、M‑24‑10を撤回して置き換えたものであり、機関に対し、365日以内に「影響の大きいAI」に最低限のリスク管理慣行を適用するよう求めている。その中には、「AIを活用した意思決定の影響を受ける個人が、適切な場合、適時の人間による審査を受け、悪影響に対して不服を申し立てる機会を得られるようにする」ことが含まれる。各機関の最高AI責任者は、最低限の慣行を免除できる。その免除は追跡・報告され、概要が公表される。
• コロラド州。 2024年5月17日に承認されたSB24‑205は、重大な意思決定を行う、または実質的に左右する高リスクAIシステムの導入者に対し、消費者への通知、誤った個人データを訂正する機会、および「技術的に実行可能な場合、人間による審査を通じて、不利益な重大な意思決定に不服を申し立てる機会」を提供するよう義務付けている。2025年8月28日に署名されたSB25B‑004は、これらの要件の発効日を2026年6月30日まで延期した。2026年5月、州議会は方針を転換した。2026年5月14日に署名されたSB26‑189は、2024年の規定を廃止し、重大な意思決定に実質的な影響を与えるために用いられる「自動意思決定技術」に関する法律として再制定し、義務の適用を2027年1月1日に開始する。導入者は、やり取りの時点で通知を行い、不利益な結果から30日以内に、技術が果たした役割について平易な言葉で説明しなければならない。消費者は、自身のデータ、事実誤認のあるデータの訂正、および「意味のある人間による審査と再考」を請求できる。執行は司法長官が担い、新たな私的訴権は設けられていない。
• カリフォルニア州。 2025年9月22日に承認され、段階的な遵守期限を伴って2026年1月1日に発効したカリフォルニア州プライバシー保護庁の規則は、企業による自動意思決定技術の利用に関する情報にアクセスし、その利用をオプトアウトする消費者の権利を実施する。
• ニューヨーク市。 2021年地方条例第144号は、バイアス監査が1年以内に実施され、その結果が公表され、候補者に通知されていない限り、雇用主が自動雇用意思決定ツールを使用することを禁じている。これは監査と通知を中心とするモデルであり、個人の不服申立て権は設けていない。

比較

所見6：実際に効果を上げるもの

制度的・構造的な手段は個人の手段を上回る

最も詳しく記録された事例を見ると、決定的な介入は集団的または制度的なものだった。

• 戦略的訴訟。 SyRI事件では、市民社会組織の連合が、法律はECHR第8条に違反するとする判決を得た。裁判所は、リスクモデルの内容を知ることができなければ、「データ主体がどのように自らを弁護できるのか理解するのは難しい」と論じ、透明性を個人が異議を申し立てるための前提条件として扱った。
• 集団訴訟。 Robodebtの集団訴訟では、少なくとも18億ドル（2021年）および5億4,850万ドル（2026年に承認）の和解が成立した。
• 規制当局。 オランダのデータ保護当局は、国籍に基づくリスク指標を違法と認定し、税務当局に罰金を科した。
• 調査。 オランダ議会の調査およびオーストラリアの王立委員会は、政治的な説明責任を追及した。

個人の不服申立ては、主として問題の兆候を示す役割を果たした。ミシガン州では、弁護士らが不正行為に関する不服申立ての認容が急増していることに気づき、その後、MiDASが人による審査なしに認定を下していたことを突き止めた。セルビアでは、アムネスティが、無収入の状態が数か月続いた後、無償の法律扶助を受けて2度目の不服申立てで復職を勝ち取った女性の事例を記録した。

情報、時間、権限がなければ人による審査は機能しない

オランダの保育手当審査担当者には、申請が高リスクと判定された理由が知らされていなかった。セルビアのソーシャルワーカーは、申請者に「ベオグラードの新しいシステム」が決定したと伝えていた。オランダでの実験的証拠（Alon-Barkat and Busuioc, 2023）からは、一般的な自動化バイアスは認められなかった一方、集団に関するステレオタイプと一致する助言に従う傾向が確認された。ただし、保育手当スキャンダルの直後に検査を受けた公務員には、その傾向は見られなかった。Ben Green（2022）は、人による監督の要件は誤った安心感を与え、欠陥のあるシステムを正当化しかねないと論じ、代わりに機関がアルゴリズムの利用を正当化し、制度的監督の対象とすることを提案している。

説明は、行動につながる場合に効果を発揮する

CJEUのDun & Bradstreet基準――どのデータが使われ、どのように使われ、何を変えれば結果が変わったのか――は、本人がデータを訂正したり（誤って記録された所得や廃車の事例など、セルビアのケース）、手法に異議を申し立てたり（Robodebtの平均値算出など）できるようにする種類の説明である。「アルゴリズム」に関する一般的な説明では不十分である。

証拠からは示されていないこと

• 新たな制度の効果に関する証拠は、まだほとんどない。 第86条、英国の第22A～22D条、およびコロラド州の人による審査を受ける権利は、結果に関するデータを得るには新しすぎる。
• 個人の権利が役に立たないことを示すものではない。 それらは制度的な救済のために必要な基盤であり、訴訟に取り組む連合や規制当局は、しばしば個人の苦情を足がかりとしている。
• 説明が常に可能であることを示すものではない。 一部の複雑なモデルについては、個々の結果を忠実に説明できるかどうかが、依然として技術的に議論されている。CJEUの基準は、実際に適用されたデータと原則に焦点を当てることで、この問題を回避している。
• 審査担当者がシステムを覆す頻度を明らかにするものではない。 自動化された決定について、覆した割合や不服申立ての認容率を公表している公的機関は少ない。

制度設計への含意

証拠がより強く支持するのは、単一の権利ではなく、複数の層からなる設計である。

1. 決定時に、自動化システムが使われたことを通知する。
2. 行動につながる理由の提示：使用されたデータ、その使われ方、結果を変える要素――Dun & Bradstreet基準――を示し、営業秘密をめぐる争いは管理者ではなく独立機関が解決する。
3. 実質的な人による審査：システムが示した理由にアクセスでき、調査する時間があり、決定を明示的に覆す権限を持つ審査担当者を置く。覆した割合を公表する。
4. 手続中は徴収や制裁を停止する独立した不服申立て制度を設け、低所得の申請者には法律扶助を提供する。
5. 制度的対応を始動させる仕組み：集計した不服申立て統計を規制当局またはオンブズマンに報告し、システムを停止する権限を設け、集団的救済を利用できるようにする。
6. 登録簿および導入前の法的承認を設け、何千人もの人々に適用される前に、手法の適法性を検証する。

未解決の問い

• 国内裁判所は、審査対象の選定にのみ形式上用いられる公共部門のリスクスコアに対し、SCHUFAの「決定的な役割」テストをどのように適用するのか。
• Dun & Bradstreetが求めるように、監督当局は営業秘密とアクセス権の均衡を図るための実務的な手続きを整備するのか。
• 第86条は2027年12月より前にどのように機能するのか。また、欧州委員会のガイダンスは、同条とGDPRとの関係を明確にするのか。
• 英国が許可・保護措置モデルへ移行することで、完全自動化された意思決定は増加するのか。また、「意味のある人間の関与」は厳格に定義されるのか。
• 米国連邦政府による最低基準の適用免除は限定的に用いられるのか、それとも常態化するのか。また、各州はコロラド州の人間による審査モデルに収れんするのか。

出典

1. 欧州議会・理事会 (2016). Regulation (EU) 2016/679 (General Data Protection Regulation)、第15条および第22条。
2. 欧州連合司法裁判所 (2023). Press release No 186/23: SCHUFA Holding (Scoring), C‑634/21、2023年12月7日。
3. 欧州連合司法裁判所 (2025). Press release No 22/25: Dun & Bradstreet Austria, C‑203/22、2025年2月27日。
4. 欧州議会・理事会 (2024). Regulation (EU) 2024/1689 (Artificial Intelligence Act)、第86条。
5. 欧州議会・理事会 (2026). Regulation (EU) 2026/1744 (Digital Omnibus on AI).
6. 欧州評議会 (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law (CETS No. 225).
7. 英国議会 (2025). Data (Use and Access) Act 2025, section 80.
8. 行政管理予算局 (2025). Memorandum M‑25‑21: Accelerating Federal Use of AI through Innovation, Governance, and Public Trust.
9. コロラド州議会 (2024). SB24‑205, Consumer Protections for Artificial Intelligence.
10. コロラド州議会 (2025). SB25B‑004, Increase Transparency for Algorithmic Systems.
11. カリフォルニア州プライバシー保護局 (2025). CCPA Updates, Cybersecurity Audits, Risk Assessments, ADMT and Insurance Regulations.
12. ニューヨーク市消費者・労働者保護局. Automated Employment Decision Tools (Local Law 144 of 2021).
13. OECD (2026). Digital Government Outlook 2026、ボックス4.7。
14. Wachter, S., Mittelstadt, B. and Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law 7(2): 76–99.
15. Edwards, L. and Veale, M. (2017). Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For. Duke Law & Technology Review 16(1): 18–84.
16. Wachter, S., Mittelstadt, B. and Russell, C. (2018). Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology 31(2).
17. Rechtbank Den Haag (2020). SyRI judgment, ECLI:NL:RBDHA:2020:1878.
18. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making. JPART 33(1): 153–169.
19. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.
20. Amnesty International (2023). Trapped by automation、EUR 70/7443/2023.
21. Charette, R. N. (2018). Michigan's MiDAS Unemployment System. IEEE Spectrum.
22. コロラド州議会 (2026). SB26‑189, Automated Decision-Making Technology.
23. 欧州評議会 (2024). Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law — authentic English text、オランダ政府の条約データベースに掲載されたもの。