Polity Atlas
بحث · الذكاء الاصطناعي ومستقبل الحوكمةراسخ

مقارنة إنفاذ استحقاقات الرعاية الاجتماعية المؤتمت: سبعة أنظمة موثقة

دراسة مقارنة لأنظمة SyRI، ونموذج مخاطر إعانات رعاية الأطفال الهولندي، وMiDAS في ميشيغان، وRobodebt الأسترالي، ونماذج مكافحة الاحتيال الدنماركية، ونموذج السلف التابع لوزارة العمل والمعاشات التقاعدية البريطانية (DWP)، وبطاقة الشؤون الاجتماعية الصربية: ما الذي أخفق، ومن لاحظ ذلك، وما الضمانات التي تدعمها الأدلة.

محررو Polity Atlasنُشر في 20 أكتوبر 2026 · قراءة في 16 د

منذ منتصف العقد الأول من القرن الحادي والعشرين، أتمتت حكومات في بلدان مرتفعة ومتوسطة الدخل أجزاءً من إنفاذ استحقاقات الرعاية الاجتماعية: مطابقة السجلات لكشف المدفوعات الزائدة، وتقييم المطالبات لتقدير مخاطر الاحتيال، والتحقق من الأهلية بمقارنتها بالسجلات الوطنية. وقد أصبحت سبعة من هذه الأنظمة موثقة على نحو استثنائي، إذ درستها محاكم أو هيئات تنظيمية أو برلمانات أو باحثون في حقوق الإنسان: نظام SyRI الهولندي لمؤشرات المخاطر ونموذج مخاطر إعانات رعاية الأطفال، ونظام البطالة MiDAS في ميشيغان، ونظام Robodebt الأسترالي، ونماذج مكافحة الاحتيال لدى Udbetaling Danmark الدنماركية، ونموذج السلف للإعانة الشاملة التابع لوزارة العمل والمعاشات التقاعدية البريطانية (DWP)، وسجل بطاقة الشؤون الاجتماعية الصربي. وتقارن هذه الدراسة بينها وفق مجموعة موحدة من الأبعاد — ما الذي فعله النظام، والبيانات التي استخدمها، والدور الذي احتفظ به البشر، ومدى شفافيته، وسبل الاعتراض عليه، وكيف انتهى — لتحديد أنماط الإخفاق المتكررة والضمانات التي تدعمها الأدلة.

النتائج الرئيسية

  • غالباً ما تُجمع عائلتان مختلفتان من الأنظمة في فئة واحدة. فقد أصدرت أتمتة القرارات (MiDAS وRobodebt، وسجل صربيا عملياً) نتائج سلبية مباشرة؛ أما اختيار الحالات وفق المخاطر (SyRI، والنموذج الهولندي لإعانات رعاية الأطفال، والدنمارك، ونموذج DWP) فحدّد من ينبغي التحقيق معه. وتخفق العائلة الأولى عبر اتخاذ قرارات خاطئة على نطاق واسع؛ أما الثانية فتخفق من خلال تحديد من يخضع للتدقيق.
  • أشد الأضرار الموثقة نتجت عن أتمتة القرارات مع قلب عبء الإثبات. فقد وجدت مراجعة استشهدت بها IEEE Spectrum أن MiDAS بتّ في 40,195 قضية احتيال بواسطة الخوارزمية وحدها، وكانت 85% منها خاطئة؛ كما فرض Robodebt ديوناً غير قانونية بنحو $1.73 مليار على قرابة 433,000 شخص.
  • تخفق أنظمة الاختيار بسبب المؤشرات البديلة. وتتكرر الجنسية (هولندا)، و«الارتباط الأجنبي» وأنماط الأسر «غير المعتادة» (الدنمارك)، والاستهداف على أساس الأحياء (SyRI)، والتفاوتات المرتبطة بالعمر والإعاقة والحالة الاجتماعية والجنسية (المملكة المتحدة). ولم تنشر أي من أنظمة الاختيار معدلات خطأ مُتحققاً من صحتها بحسب الفئات.
  • لم تحمِ عبارة «يتخذ إنسان القرار النهائي» الناس. فلم يُبلّغ المسؤولون الهولنديون بأسباب حصول الطلب على درجة مرتفعة؛ وقال الأخصائيون الاجتماعيون الصرب لمقدمي الطلبات: «إنه النظام الجديد من بلغراد، هو الذي قرر»؛ واعتمدت DWP على قرارات موظفي دراسة الحالات للحكم بتناسب نموذجها قبل أن يكشف تحليلها الخاص للإنصاف عن تفاوتات.
  • أوقفت الأنظمة مؤسسات خارجية، لا التقييم الداخلي. فقد اضطلعت بهذه المهمة المحاكم (SyRI في 2020؛ والتقاضي بشأن Robodebt في 2019–2021)، وهيئة معنية بحماية البيانات (في هولندا)، وتحقيق برلماني، وتحقيقات أجرتها منظمات غير حكومية وصحفيون.
  • الظروف المتكررة التي أفسحت المجال لهذه الأنظمة سياسية وقانونية: أهداف التوفير، والخطاب المتعلق بالاحتيال، وقوانين تفتقر إلى أحكام لمراعاة المشقة، والسرية التي يُبررها الخوف من «التحايل»، وضعف سبل الانتصاف الفردية أو بطؤها.

سؤال البحث ونطاقه

السؤال هو: عبر الحالات الموثقة جيداً لإنفاذ استحقاقات الرعاية الاجتماعية المؤتمت، ما سمات التصميم والظروف المؤسسية المرتبطة بوقوع أضرار جسيمة، وما الضمانات التي نجحت فعلياً؟

اختيار الحالات. أُدرجت الحالات إذا فحص النظامَ جسمٌ خارجي ذو صلاحية — محكمة أو جهة تنظيمية أو لجنة تحقيق برلمانية أو لجنة ملكية — أو تحقيق منشور مفصّل يستند إلى وثائق رسمية. وهذا يرجّح الفضائح، ولا يشكّل عيّنة عشوائية من خوارزميات الرعاية الاجتماعية؛ إذ لم يُفحص معظم الأنظمة المستخدمة قط. وأفادت منظمة التعاون الاقتصادي والتنمية في 2026 بأن 10 فقط من أصل 36 دولة عضوًا فيها تقيس أثر أي حالة استخدام للذكاء الاصطناعي الحكومي، ولذلك لا يمكن تقييم الأغلبية التي لم تخضع للفحص.

الأبعاد. تُقارن كل حالة من حيث الوظيفة والبيانات والدور البشري والشفافية ومسار الاعتراض والنتيجة والجهة التي أوقفت النظام أو كشفت أمره.

خلفية

لماذا تُؤتمت إجراءات إنفاذ شروط استحقاق الرعاية الاجتماعية

تُنتج الإعانات المشروطة باختبار الموارد كميات كبيرة من الوقائع الصغيرة القابلة للتحقق — الدخل وتركيبة الأسرة ومحل الإقامة — المسجّلة في قواعد بيانات مختلفة. ومطابقتها زهيدة التكلفة، فيما تواجه الحكومات ضغوطًا سياسية مستمرة بشأن الاحتيال والأخطاء. فعلى سبيل المثال، برّرت وزارة العمل والمعاشات البريطانية (DWP) نموذجها بأنه جزء من الجهود الرامية إلى خفض مبلغ يُقدّر بنحو £8 billion سنويًا، يُهدر بسبب الاحتيال والأخطاء، وفقًا لما أوردته صحيفة الغارديان. ومع ذلك، استمعت اللجنة الملكية الأسترالية المعنية بـRobodebt إلى أدلة تفيد بأن «الاحتيال في نظام الرعاية الاجتماعية كان ضئيلاً»، وحذّرت من أن «الخطاب المناهض للرعاية الاجتماعية شعبوية سهلة». والفجوة بين الاحتيال المتصوَّر والاحتيال المقاس عامل متكرر وراء هذا التوجه.

نمط أقدم

تندرج هذه الأنظمة ضمن تاريخ أطول. فقد وثّق كتاب فيرجينيا يوبانكس Automating Inequality (2018) كيف حوّلت أتمتة تحديد الأهلية ونماذج المخاطر والسجلات في الولايات المتحدة التدقيق نحو الأسر الفقيرة؛ والحالات الواردة أدناه نظائرها الأوروبية والأسترالية، مع سجلات قانونية أقوى الآن.

المنهج والمصادر

تستند الأدلة، حيثما توفرت، إلى وثائق قانونية وتنظيمية أولية — حكم محكمة لاهاي الجزئية بشأن SyRI والمذكرة المقدمة من المقرر الخاص للأمم المتحدة بصفة صديق المحكمة في تلك القضية، وإعلانات النائب العام لولاية ميشيغان بشأن التسوية في قضية Bauserman، ونتائج هيئة حماية البيانات الهولندية، والتحقيق البرلماني الهولندي — وإلى تحقيقات مفصّلة تستند إلى وثائق رسمية: تقارير منظمة العفو الدولية عن الدنمارك (2024) وصربيا (2023)، وتقرير صحيفة الغارديان عن تحليل للإنصاف أجرته DWP ونُشر بموجب قوانين حرية المعلومات، ورواية مجلة IEEE Spectrum عن MiDAS، والتغطية الصحفية للمحكمة الفدرالية الأسترالية واللجنة الملكية. واستُخدمت دراستان محكّمتان لتحليل الرقابة البشرية: تجارب ألون-بركات وبوسيوك (2023) وتحليل غرين للسياسات (2022).

القيود. تقارير المنظمات غير الحكومية وثائق مناصرة؛ وتستند أوصافها الوقائعية إلى سجلات رسمية جرى الحصول عليها بموجب قوانين إتاحة المعلومات، لكن الحكومات المعنية تعترض على استنتاجاتها القانونية (فهيئة Udbetaling Danmark الدنماركية، على سبيل المثال، ترفض رأي منظمة العفو الدولية القائل إن نماذجها ترقى إلى مستوى التنقيط الاجتماعي المحظور). ونُشر تحليل الإنصاف الخاص بـDWP بعد حجب أجزاء أساسية منه. وتستند أرقام أخطاء MiDAS إلى مراجعة أوردتها مجلة تقنية، لا إلى حكم قضائي. ولا تتوفر مقاييس نتائج قابلة للمقارنة — مثل الإيجابيات الكاذبة والعقوبات الخاطئة والمبالغ المستردة — بين الحالات.

النتيجة 1: ما الذي فعلته الأنظمة

النظامالبلد، الفترةالوظيفةالبيانات الرئيسيةدور الإنسان
MiDASميشيغان، الولايات المتحدة؛ قرارات الاحتيال من October 2013 – September 2015الفصل الآلي في قضايا الاحتيال ضمن تأمين البطالةسجلات المطالبات والأجورصدرت نتائج كثيرة بوجود احتيال من دون مراجعة بشرية
Robodebtأستراليا، July 2015 – November 2019إنشاء الديون آلياًاحتساب متوسط الدخل السنوي المسجل لدى مكتب الضرائب على فترات من أسبوعيناضطر الناس إلى إثبات عدم صحة الديون
نموذج مخاطر إعانة رعاية الأطفالهولندا، منذ 2013 (مؤشر الجنسية على الأقل خلال 2016–2018)اختيار الحالات على أساس المخاطر لإجراء فحوص يدوية؛ الموافقة الآلية على الدرجات المنخفضةعشرات المؤشرات، منها «الجنسية الهولندية: نعم/لا»راجع المسؤولون الحالات المحددة من دون إخبارهم بسبب حصولها على درجات مرتفعة
SyRIهولندا، الأساس القانوني اعتباراً من 1 January 2014تقارير مخاطر مستخلصة من قواعد بيانات حكومية مترابطةبيانات من وكالات متعددة؛ نموذج مخاطر غير معلنأُحيلت تقارير المخاطر إلى الوكالات للتحقيق
نماذج Udbetaling Danmark / ATPالدنمارك، أُنشئت الوكالة عام 2012؛ أُفيد بوجود نحو 60 نموذجاً في 2019الاختيار على أساس المخاطر («قوائم الأسئلة») لمكافحة الاحتيالسجلات الإقامة والأسرة والمواطنة والدخل والسكنيحقق الموظفون المسؤولون عن الملفات مع الأشخاص المحددين
نموذج سلف الائتمان الشاملالمملكة المتحدة، مستخدم في 2024الاختيار القائم على المخاطر باستخدام التعلم الآلي لطلبات السلفبيانات المطالباتيتخذ الموظف المسؤول عن الملف القرار النهائي
سجل البطاقة الاجتماعيةصربيا، نافذ منذ March 2022تجميع البيانات وإرسال إشعارات بعلامات تحذيرية بشأن الأهليةالدخل والأصول والمركبات وبيانات سجلات أخرىيراجع العاملون الاجتماعيون العلامات التحذيرية، لكنهم أفادوا بعدم قدرتهم على تجاوزها

أتمتة القرارات

MiDAS. أفاد تقرير نشرته IEEE Spectrum عام 2018 بأن أكثر من 34,000 شخص اتُّهموا ظلماً بالاحتيال في إعانات البطالة في ميشيغان بين October 2013 وSeptember 2015، وأن مراجعة وجدت أن MiDAS «فصل—بواسطة خوارزمية وحدها—في 40,195 قضية احتيال، وأسفرت 85 percent منها عن قرارات خاطئة بوجود احتيال». وكانت العقوبات قاسية — غرامة بنسبة 400% من المبلغ المطالب به، وحجز الأجور، واقتطاع المبالغ المستردة من الضرائب — ولاحظ المحامون ارتفاعاً في عدد الطعون الناجحة قبل أن يكتشفوا أن كثيراً من الاتهامات صدرت «من دون أي تدخل بشري، أو إمكانية مراجعة الاتهام». رفع المطالبون دعوى على الولاية عام 2015 في Bauserman v. Unemployment Insurance Agency؛ وبعد أن قضت المحكمة العليا في ميشيغان عام 2019 بأن الفئة تقتصر على الأشخاص الذين جُبيت منهم الأموال لأول مرة في 9 March 2015 أو بعده، ثم قضت في July 2022 بأن بإمكانهم المطالبة بتعويضات بموجب دستور الولاية، وافقت الولاية على تسوية بقيمة $20 million، أقرتها محكمة المطالبات في ميشيغان في 29 January 2024.

Robodebt. أنشأ Robodebt ديوناً بتوزيع الدخل السنوي المسجل لدى مكتب الضرائب على فترات من أسبوعين بالنسبة إلى الأشخاص الذين لم يقدموا أدلة؛ واستمعت المحكمة الفدرالية إلى أن ديوناً بقيمة $1.73 billion فُرضت بصورة غير قانونية على نحو 433,000 شخص، وأن $751 million استُردت من نحو 381,000 شخص. انظر الدراسة الكاملة عن Robodebt.

صربيا. لا يقرر سجل البطاقة الاجتماعية الأهلية رسمياً، لكن منظمة العفو الدولية وجدت أنه «يُدخل عملية صنع قرار شبه مؤتمتة» من خلال إشعارات التنبيه التي تستدعي مراجعات عاجلة. وأظهرت الأرقام الحكومية وجود 176,000 مستفيد في أغسطس 2023، أي أقل بـ35,000 من مارس 2022، حين دخل القانون حيز التنفيذ؛ وهو انخفاض تزامن مع السجل، مع أن منظمة العفو الدولية تشير إلى أن الأعداد الدقيقة لحالات الرفض بسبب النظام غير واضحة.

اختيار الحالات عالية المخاطر

SyRI. يسجل حكم محكمة لاهاي الجزئية أنه نُفذ 160 مشروعاً لفرق التدخل بين عامي 2008 و2014، وأن «نهجاً موجهاً نحو الأحياء» طُبق في 19 من أصل 21 مشروعاً مكتملاً. وبعد تعديل قانون SUWI اعتباراً من 1 يناير 2014، نُفذت خمسة مشاريع SyRI، منها مشاريع في أحياء روتردام وكابيله آن دن آيسل وهارلم. ورفضت الدولة الكشف عن نموذج المخاطر والمؤشرات، بحجة أن المواطنين قد يغيرون سلوكهم لولا ذلك.

نموذج إعانة رعاية الأطفال الهولندي موضوع دراسة منفصلة: فقد وجدت هيئة حماية البيانات أن الجنسية استُخدمت مؤشراً، وفرضت غرامة قدرها €2.75 مليون على إدارة الضرائب في 2021.

الدنمارك. تفيد منظمة العفو الدولية بأن Udbetaling Danmark (التي أُنشئت بموجب قانون في 2012) وشركة التقاعد ATP، التي تدير الإعانات نيابة عنها، تشغّلان وحدة بيانات مشتركة تدمج سجلات ملايين المقيمين وتستخدم نماذج التنميط لإعداد قوائم بأشخاص جرى تصنيفهم للتحقيق؛ ووفقاً لتقارير عام 2019، كانت الوكالة تستخدم نحو 60 نموذجاً للذكاء الاصطناعي والتعلّم الآلي. ويقيّم أحد النماذج، «Model Abroad»، «الارتباط الخارجي» للمستفيدين، ويعطي الأولوية للتحقيق مع الأشخاص الذين تربطهم «صلات متوسطة وقوية» بدول خارج المنطقة الاقتصادية الأوروبية.

المملكة المتحدة. أفادت صحيفة الغارديان في ديسمبر 2024 بأن «تحليل الإنصاف» الذي أجرته وزارة العمل والمعاشات التقاعدية (DWP) في فبراير 2024 كشف عن «تفاوت ذي دلالة إحصائية في النتائج» في نموذج التعلّم الآلي المستخدم لفحص طلبات السلف من الائتمان الشامل، وذلك حسب العمر والإعاقة والحالة الاجتماعية والجنسية؛ ولم يكن قد أُجري بعد أي تحليل للإنصاف بحسب العرق أو الجنس أو التوجه الجنسي أو الدين أو الحمل أو التحول الجنسي.

النتيجة 2: المؤشرات البديلة وجودة البيانات

الخصائص المحمية والمؤشرات البديلة عنها

الحالةالمتغير موضع البحثالمتأثرون
نموذج إعانة رعاية الأطفال الهولنديالجنسية (هولندي / غير هولندي)مقدمو الطلبات من غير حاملي الجنسية الهولندية
SyRIاستهداف الأحياءسكان المناطق منخفضة الدخل
الدنمارك«الارتباط الخارجي»؛ وأنماط الأسر والإقامة «غير المعتادة»أشخاص تربطهم صلات خارج المنطقة الاقتصادية الأوروبية؛ وأسر غير نمطية
نموذج السلف في المملكة المتحدةتفاوتات بحسب العمر والإعاقة والحالة الاجتماعية والجنسيةفئات لم يُكشف عنها (حُجبت)

وجدت محكمة SyRI أن استخدام نموذج المخاطر «ينطوي على خطر وقوع آثار تمييزية، متعمدة كانت أم غير ذلك»، وأشارت إلى حجة المدعين بأن استهداف الأحياء التي تعاني مشكلات «يزيد فرص اكتشاف المخالفات في تلك المناطق»، وهو ما «يؤكد بدوره صورة الحي بوصفه منطقة تعاني مشكلات». ويطرح تقرير منظمة العفو الدولية عن الدنمارك النقطة نفسها بشأن المقاييس النسبية: إذ تُعرّف «الصلات المتوسطة والقوية» بالقياس إلى مستفيدين آخرين، لا استناداً إلى معايير موضوعية.

البيانات الرديئة بوصفها أساساً للقرار

تُظهر صربيا أن الضرر لا يتطلب نماذج متطورة. توثق منظمة العفو الدولية حالة امرأة فقدت المساعدة الاجتماعية في فبراير 2023 بعدما أودعت مجموعة معنية بحقوق الإنسان مبلغ إغاثة قدره 20,000 دينار لمساعدتها في دفع تكاليف جنازة ابنتها، فصنّف السجل المبلغ على أنه دخل؛ كما توثق حالة عائلات من الروما فقدت المساعدة لأن سيارات بيعت خردة قبل سنوات ظلت مسجلة بأسمائهم. وكان احتساب المتوسط في نظام Robodebt افتراضاً بسيطاً مماثلاً. وفي الحالتين، تمثل الخطأ في التعامل مع أثر من آثار البيانات كما لو كان حقيقة عن حياة شخص.

النتيجة 3: حدود دور الإنسان في الحلقة

أبقت معظم هذه الأنظمة إنساناً ما في موضع من العملية. لكن ذلك لم يمنع الضرر:

  • لا أسباب، ولا تقدير. تفيد منظمة العفو الدولية بأن الموظفين المدنيين الهولنديين الذين راجعوا طلبات إعانة رعاية الأطفال عالية المخاطر «لم تُقدَّم لهم أي معلومات عن سبب منح النظام الطلب درجة مخاطر عالية».
  • الإذعان. أخبر أصحاب المطالبات في صربيا منظمة العفو الدولية بأن الأخصائيين الاجتماعيين عزوا القرارات إلى «النظام الجديد»، وقالوا إنهم لا يستطيعون تجاوز الإشعارات؛ وكانت عبارة «لا يسعني فعل شيء، فالنظام الجديد من بلغراد هو من قرر» أكثر الردود التي وُثّقت تكراراً.
  • الاطمئنان بفعل الشكليات. كانت وزارة العمل والمعاشات التقاعدية (DWP) قد صرحت في منتصف 2024 بأن النموذج «لا يثير أي مخاوف فورية بشأن التمييز»، ويعود ذلك جزئياً إلى أن «القرار النهائي بشأن حصول الشخص على دفعة الرعاية الاجتماعية لا يزال يتخذه إنسان».

تعقّد الأدلة التجريبية الروايات المبسطة. أجرى ألون-باركات وبوسيوك ثلاث تجارب في هولندا (بمشاركة 605 و904 و1,345 مشاركاً، وكانت العينة الأخيرة من الموظفين المدنيين). ولم يجدا دليلاً على وجود انحياز عام للأتمتة — إذ لم يتبع المشاركون المشورة الخوارزمية أكثر من اتباعهم مشورة مماثلة يقدمها خبير بشري — لكنهما رصدا امتثالاً انتقائياً: ففي الدراسة الثانية، كان المشاركون أكثر ميلاً إلى اتباع المشورة التي تتوافق مع الصور النمطية عن الجماعات. ولم يظهر هذا النمط بين الموظفين المدنيين الذين شملهم الاستطلاع بعد وقت قصير من فضيحة إعانات رعاية الأطفال، وهو ما يعزوه المؤلفان إلى ارتفاع مستوى الوعي. ويذهب بن غرين إلى أبعد من ذلك، مجادلاً بأن السياسات التي تشترط الإشراف البشري على خوارزميات الحكومة تستند إلى فرضية ضعيفة — وهي أن الناس يجيدون الإشراف على الخوارزميات — وقد تضفي الشرعية على أنظمة معيبة؛ ويقترح بدلاً من ذلك أن تبرر الوكالات استخدام الخوارزميات، وأن يكون الإشراف مؤسسياً لا فردياً.

النتيجة 4: كيف كُشفت الأنظمة وأُوقفت

الحالةمن كشفهاالتدخل الحاسمالنتيجة
MiDASمحامو العاطلين عن العمل والمدافعون عنهم الذين لاحظوا نجاح الطعونالطعون والمناصرة والدعوى الجماعية باوسرمانوعد المشرّعون بتعويضات لا تقل عن $30 million (يناير 2018)؛ وأُقرّت تسوية جماعية بقيمة $20 million في يناير 2024
Robodebtالمستفيدون والمدافعون عنهم ومحامو المساعدة القانونية والصحفيونقضية اختبارية أمام المحكمة الفدرالية (2019) ودعوى جماعية (أُقرت التسوية في 2021)ردّ المبالغ، وتسوية بقيمة $1.8 billion، ولجنة ملكية (2023)، وتسوية استئناف بقيمة $548.5 million (أُقرت في 2026)
نموذج رعاية الأطفال الهولنديأولياء الأمور والصحفيون وأمين المظالم الوطني (2017)هيئة حماية البيانات (2020–2021)، وتحقيق برلماني (2020)استقالة مجلس الوزراء (2021)، وغرامات، وعملية استرداد
SyRIائتلاف من المجتمع المدني (NJCM وآخرون، وانضم إليهم FNV)محكمة لاهاي الابتدائية، 5 فبراير 2020اعتُبر التشريع مخالفًا للمادة 8 من الاتفاقية الأوروبية لحقوق الإنسان وعديم الأثر الملزم
الدنماركبحث منظمة العفو الدولية باستخدام طلبات الحصول على المعلومات بموجب قوانين حرية المعلوماتلم يحدث أي تدخل حاسم حتى تاريخ التقريرالوكالة تعترض على النتائج؛ وتصنيف قانون الذكاء الاصطناعي محل نزاع
نموذج السلف في المملكة المتحدةطلب بموجب قانون حرية المعلومات قدّمه مشروع القانون العام؛ وصحيفة الغارديانلم يحدث أي تدخل حاسم بحسب التقريرظلّ النموذج مستخدمًا، مع اتخاذ البشر للقرارات النهائية
صربيابحث منظمة العفو الدولية؛ ومنظمات المساعدة القانونيةطعون فردية، نجح بعضهاظلّ السجل مستخدمًا وقت إعداد التقرير

المحاكم: قضية SyRI بوصفها السابقة الأبرز

يمثل حكم SyRI أوضح نتيجة قانونية. اختبرت المحكمة تشريع SyRI في ضوء المادة 8(2) من الاتفاقية الأوروبية لحقوق الإنسان، التي تشترط «توازنًا عادلًا» بين المصلحة العامة المتوخاة والتدخل في الحياة الخاصة. ووجدت أن التشريع «لا يتضمن ضمانات كافية لحماية الحق في احترام الحياة الخاصة فيما يتعلق بمؤشرات المخاطر ونموذج المخاطر»، وأنه يستحيل التحقق من كيفية إنشاء «شجرة القرار البسيطة» الخاصة بالنموذج، ومن ثم فإنه «يصعب فهم كيف يمكن لصاحب البيانات أن يدافع عن نفسه إزاء تقديم تقرير مخاطر بشأنه». وبعبارة أخرى، عوملت الشفافية باعتبارها شرطًا مسبقًا لإمكانية الاعتراض. وكان المقرر الخاص للأمم المتحدة المعني بالفقر المدقع وحقوق الإنسان، فيليب ألستون، قد قدّم مذكرة صديق المحكمة دعمًا لقضية المدّعين في 26 سبتمبر 2019، ويشير الحكم إلى أن المدّعين حظوا في الإجراءات بدعم اتحاد نقابات العمال FNV والمقرر الخاص (الفقرة 6.92).

الهيئات التنظيمية والتحقيقات

في هولندا، كانت هيئة حماية البيانات هي التي حوّلت فضيحة سياسية إلى نتيجة قانونية بشأن النموذج نفسه، وكان التحقيق البرلماني هو ما فرض المساءلة السياسية. أما في أستراليا، فقد خلصت اللجنة الملكية إلى أن أمين المظالم ومفوّض المعلومات ومحكمة الطعون الإدارية لم يشكّلوا سوى «عائق ضئيل أمام استمرار البرنامج»؛ وتولت التقاضي وتغيير الحكومة إنجاز ذلك.

الطعون الفردية

ساعدت الطعون الفردية الأفراد، لكنها نادرًا ما أوقفت الأنظمة. ففي ميشيغان، كانت الطعون الناجحة هي الإشارة التي كشفت MiDAS. وفي صربيا، توثّق منظمة العفو الدولية حالة امرأة نجحت في استعادة عملها بمساعدة قانونية مجانية في محاولتها الثانية، بعد أشهر من دون دعم. وخلصت اللجنة الملكية بشأن Robodebt إلى أن نظام المحاكم لم يكن فعّالًا بوصفه آلية رقابة منهجية.

ما لا تثبته الأدلة

  • لا يثبت ذلك أن الإنفاذ الآلي لا يمكن أن ينجح. فقد تقلل مطابقة البيانات المصممة جيدًا من الأخطاء من دون هذه الأضرار؛ ونادرًا ما تصبح هذه الأنظمة موضوعًا لأحكام قضائية، لذا فهي ممثلة تمثيلًا ناقصًا هنا.
  • لا يثبت ذلك أن التعلم الآلي هو الخطر الرئيسي. فالأنظمة الأشد إضرارًا — MiDAS وRobodebt — اعتمدت على قواعد وحسابات حسابية. وتكتسب العتمة، والمتغيرات البديلة، وقلب أعباء الإثبات أهمية أكبر من نوع النموذج.
  • لا يقدم ذلك معدلات أخطاء قابلة للمقارنة. وحده MiDAS لديه رقم مُعلن للأخطاء في القرارات الآلية، وقد ورد هذا الرقم في مراجعة نقلها مصدر غير مباشر.
  • لا يحسم ذلك الحالتين الدنماركية والبريطانية. فكلتا الحكومتين تعترض على استنتاجات المنتقدين؛ والسجل الوثائقي جزئي ومنقح.
  • لا يثبت ذلك أن ضمانة واحدة تكفي. ففي كل حالة، غابت عدة ضمانات في الوقت نفسه.

الدلالات على تصميم المؤسسات

  1. لا تسمح أبدًا بأن تكون مطابقة البيانات أو الدرجة دليلًا قائمًا بذاته. ينبغي أن تستند النتائج السلبية إلى أدلة تستوفي معايير مراجع مستقل؛ وينبغي أن تظل المسؤولية على عاتق الجهة المختصة.
  2. افصل بين الاختيار وفرض العقوبات. لا ينبغي أن يؤدي الإدراج في قائمة الفحص إلى تعليق المدفوعات أو إلحاق وصمة من دون أدلة مستقلة وإتاحة فرصة للرد.
  3. انشر الأساس الذي يقوم عليه النموذج وسجل أخطائه. تُظهر قضية SyRI أن المحاكم ستعتبر النماذج غير المفصح عنها غير متوافقة مع الحماية القانونية. ويمكن معالجة مخاوف «التحايل» من خلال الإفصاح عن المنطق ونتائج التحقق من دون الكشف عن الحدود التشغيلية الحالية.
  4. اختبر المتغيرات البديلة، لا السمات المحمية فحسب، واختبر جميع الخصائص المحمية قبل النشر — إذ لم تختبر DWP سوى بعضها.
  5. زوّد المراجعين بالأسباب والصلاحيات. يحتاج المراجع البشري إلى معرفة العوامل التي أدت إلى إصدار التنبيه، وإلى وقت للتحقق، وصلاحية صريحة لتجاوز القرار، إضافة إلى التدريب على تجنب التسليم للقرار الآلي.
  6. أنشئ آليات تفعيل على مستوى النظام. عندما تنجح الطعون على نظام ما بمعدل غير معتاد، ينبغي أن يتمكن أمين المظالم أو الجهة التنظيمية من تعليق النظام ريثما تجري مراجعته.
  7. احتسب التكلفة الكاملة. ينبغي أن تحصي التقييمات الديون المفروضة خطأً، والمبالغ المستردة، والتقاضي والتعويضات، لا المبالغ المستردة فحسب.

أسئلة مفتوحة

  • كم عدد أنظمة الإنفاذ الآلي للمنافع الاجتماعية المستخدمة من دون أي فحص خارجي، وكيف يمكن للسجلات أن تجعلها مرئية؟
  • هل سيؤدي تصنيف قانون الذكاء الاصطناعي للاتحاد الأوروبي الوصول إلى الخدمات العامة الأساسية باعتباره عالي المخاطر، وحظره للتنقيط الاجتماعي، إلى تغيير ممارسات مثل الممارسات الدنماركية — ومن سيبت في النزاعات المتعلقة بالتصنيف؟
  • هل يمكن جعل اختبار الإنصاف ذا معنى حين تحجب الحكومات معلومات عن الفئات المتأثرة؟
  • هل تردع سبل الانتصاف النظامية، مثل الدعاوى الجماعية وغرامات الجهات التنظيمية، الأضرار المستقبلية، أم تقتصر أساسًا على التعويض عن الأضرار السابقة؟
  • كيف سيبدو معيار إيجابي؟ أي نظام إنفاذ آلي ينشر معدلات أخطائه وبيانات الاعتراضات ونتائج تدقيق مستقل؟

المصادر

  1. محكمة لاهاي (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
  2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum، 24 يناير 2018.
  3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
  4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
  5. هيئة حماية البيانات الهولندية (2021). Tax Administration fined for discriminatory and unlawful data processing.
  6. منظمة العفو الدولية (2021). Xenophobic machines، EUR 35/4686/2021.
  7. اللجنة البرلمانية للتحقيق في إعانة رعاية الأطفال (2020). Ongekend onrecht.
  8. منظمة العفو الدولية (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state، EUR 18/8709/2024.
  9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian، 6 ديسمبر 2024.
  10. منظمة العفو الدولية (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state، EUR 70/7443/2023.
  11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
  12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
  13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. نيويورك: St. Martin's Press.
  14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
  15. OECD (2026). Digital Government Outlook 2026. منشورات OECD، باريس.
  16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI)، 26 سبتمبر 2019.
  17. وزارة العدل في ميشيغان (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency، 30 يناير 2024.
  18. وزارة العدل في ميشيغان (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud، 20 أكتوبر 2022.

المصدر الأصلي: De Rechtspraak