स्वचालित कल्याण-प्रवर्तन की तुलना: सात प्रलेखित प्रणालियाँ

2010 के दशक के मध्य से, उच्च और मध्यम आय वाले देशों की सरकारों ने कल्याण-प्रवर्तन के कुछ हिस्सों को स्वचालित किया है: अधिक भुगतान का पता लगाने के लिए अभिलेखों का मिलान करना, धोखाधड़ी के जोखिम के आधार पर दावों का स्कोर निर्धारित करना और राष्ट्रीय रजिस्ट्रियों के आधार पर पात्रता की जाँच करना। इनमें से सात प्रणालियाँ अब असाधारण रूप से अच्छी तरह प्रलेखित हैं, क्योंकि अदालतों, नियामकों, संसदों या मानवाधिकार शोधकर्ताओं ने उनकी जाँच की है: नीदरलैंड की SyRI जोखिम-संकेत प्रणाली और बाल-देखभाल लाभ जोखिम मॉडल, मिशिगन की MiDAS बेरोज़गारी प्रणाली, ऑस्ट्रेलिया का Robodebt, Udbetaling Danmark में डेनमार्क के धोखाधड़ी-नियंत्रण मॉडल, ब्रिटेन के कार्य और पेंशन विभाग (DWP) का यूनिवर्सल क्रेडिट अग्रिम भुगतान मॉडल, और सर्बिया की Social Card रजिस्ट्री। यह अध्ययन इनकी तुलना एक साझा आयाम-समूह के आधार पर करता है—प्रणाली ने क्या किया, उसने कौन-से डेटा का उपयोग किया, मनुष्यों की क्या भूमिका बनी रही, वह कितनी पारदर्शी थी, उसे किस तरह चुनौती दी जा सकती थी और उसका अंत कैसे हुआ—ताकि यह पहचाना जा सके कि विफलता के कौन-से प्रतिरूप बार-बार सामने आते हैं और साक्ष्य किन सुरक्षा उपायों का समर्थन करते हैं।

प्रमुख निष्कर्ष

• दो अलग-अलग प्रकार की प्रणालियों को अक्सर एक ही श्रेणी में रख दिया जाता है। निर्णय स्वचालन (MiDAS, Robodebt और, वस्तुतः, सर्बिया की रजिस्ट्री) ने सीधे प्रतिकूल निष्कर्ष दिए; जोखिम-आधारित चयन (SyRI, डच बाल-देखभाल मॉडल, डेनमार्क, DWP मॉडल) ने तय किया कि किसकी जाँच की जाए। पहले प्रकार की विफलता बड़े पैमाने पर गलत निर्णयों के कारण होती है; दूसरे की विफलता इस बात में होती है कि किसकी जाँच-पड़ताल होती है।
• सबसे गंभीर रूप से प्रलेखित नुकसान उन निर्णय-स्वचालित प्रणालियों से हुए जिनमें सबूत का भार उलट दिया गया था। IEEE Spectrum द्वारा उद्धृत समीक्षा में पाया गया कि MiDAS ने केवल एल्गोरिदम के आधार पर धोखाधड़ी के 40,195 मामलों का निर्णय किया, जिनमें से 85% गलत थे; Robodebt ने लगभग 433,000 लोगों पर करीब $1.73 billion का गैरकानूनी ऋण लगाया।
• चयन प्रणालियाँ प्रॉक्सी संकेतकों के आधार पर विफल होती हैं। राष्ट्रीयता (नीदरलैंड), "विदेशी संबद्धता" और "असामान्य" घरेलू पैटर्न (डेनमार्क), पड़ोस-आधारित लक्ष्यीकरण (SyRI), तथा आयु, दिव्यांगता, वैवाहिक स्थिति और राष्ट्रीयता के आधार पर असमानताएँ (ब्रिटेन) बार-बार सामने आती हैं। चयन प्रणालियों में से किसी ने भी समूह-वार सत्यापित त्रुटि दरें प्रकाशित नहीं कीं।
• "अंतिम निर्णय कोई मानव करता है"—यह बात लोगों की रक्षा नहीं कर सकी। डच अधिकारियों को यह नहीं बताया गया कि किसी आवेदन का स्कोर ऊँचा क्यों था; सर्बियाई सामाजिक कार्यकर्ताओं ने दावेदारों से कहा, "यह बेलग्रेड की नई प्रणाली है जिसने फैसला किया"; DWP ने अपने मॉडल को आनुपातिक मानने के लिए केसवर्करों के निर्णयों पर भरोसा किया, जबकि उसके अपने निष्पक्षता विश्लेषण में असमानताएँ सामने आईं।
• प्रणालियों को आंतरिक मूल्यांकन ने नहीं, बाहरी संस्थाओं ने रोका। अदालतों (2020 में SyRI; 2019–2021 में Robodebt मुकदमेबाज़ी), डेटा-संरक्षण नियामक (नीदरलैंड), संसदीय जाँच तथा गैर-सरकारी संगठनों और पत्रकारों की पड़ताल ने यह काम किया।
• बार-बार सामने आने वाली सक्षमकारी परिस्थितियाँ राजनीतिक और कानूनी हैं: बचत के लक्ष्य, धोखाधड़ी के बारे में बयानबाज़ी, कठिन परिस्थितियों के लिए अपवाद-प्रावधानों से रहित कानून, "नियमों का दुरुपयोग" होने की आशंका के आधार पर गोपनीयता, और व्यक्तिगत उपचार के कमजोर या धीमे उपाय।

शोध प्रश्न और दायरा

प्रश्न यह है: कल्याण-प्रवर्तन के स्वचालितकरण के सुव्यवस्थित रूप से प्रलेखित मामलों में, कौन-सी डिज़ाइन विशेषताएँ और संस्थागत परिस्थितियाँ गंभीर नुकसान से जुड़ी हैं, और कौन-से सुरक्षा उपाय वास्तव में कारगर रहे हैं?

मामलों का चयन। मामलों को तब शामिल किया गया जब किसी प्रामाणिक बाहरी निकाय — अदालत, नियामक, संसदीय जाँच या शाही आयोग — अथवा आधिकारिक दस्तावेज़ों पर आधारित किसी विस्तृत प्रकाशित जाँच ने प्रणाली की पड़ताल की हो। इससे घोटालों को प्राथमिकता मिलती है और यह कल्याणकारी एल्गोरिदमों का यादृच्छिक नमूना नहीं है; उपयोग में मौजूद अधिकांश प्रणालियों की कभी जाँच ही नहीं हुई है। OECD ने 2026 में बताया कि 36 OECD देशों में से केवल 10 किसी भी सरकारी AI उपयोग-मामले के प्रभाव को मापते हैं, इसलिए बिना जाँचे गए बहुमत का आकलन नहीं किया जा सकता।

आयाम। प्रत्येक मामले की तुलना उसके कार्य, डेटा, मानवीय भूमिका, पारदर्शिता, चुनौती देने के मार्ग, परिणाम और उसे रोकने या उजागर करने वाले निकाय के आधार पर की गई है।

पृष्ठभूमि

कल्याणकारी योजनाओं का प्रवर्तन स्वचालित क्यों किया जाता है

साधन-परीक्षित लाभों से बड़ी संख्या में छोटे, जाँचे जा सकने वाले तथ्य उत्पन्न होते हैं — आय, परिवार की संरचना, निवास — जो अलग-अलग डेटाबेस में दर्ज होते हैं। इनका मिलान करना सस्ता है, और सरकारों पर धोखाधड़ी तथा त्रुटियों को लेकर लगातार राजनीतिक दबाव रहता है। उदाहरण के लिए, Guardian की रिपोर्टिंग के अनुसार, ब्रिटेन के DWP ने अपने मॉडल को धोखाधड़ी और त्रुटियों के कारण सालाना अनुमानित £8 billion के नुकसान को कम करने के प्रयासों का हिस्सा बताकर उचित ठहराया। फिर भी, ऑस्ट्रेलिया के Robodebt पर रॉयल आयोग ने साक्ष्य सुने कि "कल्याण प्रणाली में धोखाधड़ी नगण्य थी" और चेतावनी दी कि "कल्याण-विरोधी बयानबाज़ी आसान लोकलुभावनवाद है"। धोखाधड़ी की कथित और मापी गई मात्रा के बीच का अंतर बार-बार सामने आने वाला प्रेरक कारक है।

एक पुराना पैटर्न

ये प्रणालियाँ एक लंबे इतिहास का हिस्सा हैं। Virginia Eubanks की Automating Inequality (2018) ने दस्तावेज़ित किया कि कैसे अमेरिका में पात्रता के स्वचालन, जोखिम मॉडलों और रजिस्ट्रियों ने गरीब परिवारों पर निगरानी का बोझ बढ़ाया; नीचे दिए गए मामले इसके यूरोपीय और ऑस्ट्रेलियाई समकक्ष हैं, जिनके कानूनी अभिलेख अब अधिक ठोस हैं।

पद्धति और स्रोत

जहाँ उपलब्ध हों, साक्ष्य प्राथमिक कानूनी और नियामक दस्तावेज़ों से लिए गए हैं — हेग ज़िला न्यायालय का SyRI संबंधी निर्णय और उस मामले में संयुक्त राष्ट्र के विशेष प्रतिवेदक का amicus brief, Bauserman समझौते को लेकर मिशिगन अटॉर्नी जनरल की घोषणाएँ, डच डेटा संरक्षण प्राधिकरण के निष्कर्ष, डच संसदीय जाँच — और आधिकारिक दस्तावेज़ों पर आधारित विस्तृत जाँचों से: डेनमार्क (2024) और सर्बिया (2023) पर Amnesty International की रिपोर्टें, सूचना की स्वतंत्रता के तहत जारी DWP के निष्पक्षता विश्लेषण पर Guardian की रिपोर्ट, MiDAS का IEEE Spectrum में विवरण, तथा ऑस्ट्रेलियाई संघीय न्यायालय और रॉयल आयोग की रिपोर्टिंग। मानवीय निगरानी के विश्लेषण में दो समकक्ष-समीक्षित रचनाओं का उपयोग किया गया है: Alon-Barkat और Busuioc के प्रयोग (2023) और Green का नीति-विश्लेषण (2022)।

सीमाएँ। NGO की रिपोर्टें वकालती दस्तावेज़ हैं; उनके तथ्यात्मक विवरण पहुँच-संबंधी कानूनों के तहत प्राप्त आधिकारिक अभिलेखों पर आधारित हैं, लेकिन उनके कानूनी निष्कर्षों का संबंधित सरकारें विरोध करती हैं (उदाहरण के लिए, डेनमार्क का Udbetaling Danmark इस बात को नहीं मानता कि उसके मॉडल निषिद्ध सामाजिक स्कोरिंग के दायरे में आते हैं)। DWP का निष्पक्षता विश्लेषण उसके प्रमुख हिस्सों को हटाकर जारी किया गया था। MiDAS की त्रुटियों के आँकड़े अदालत के निर्णय के बजाय किसी तकनीकी पत्रिका में प्रकाशित समीक्षा से लिए गए हैं। तुलनीय परिणाम-मापदंड — गलत सकारात्मक परिणाम, अनुचित दंड, वसूली की रकम — अलग-अलग मामलों में उपलब्ध नहीं हैं।

निष्कर्ष 1: प्रणालियों ने क्या किया

निर्णय स्वचालन

MiDAS. IEEE Spectrum के 2018 के विवरण के अनुसार, अक्टूबर 2013 और सितंबर 2015 के बीच मिशिगन में 34,000 से अधिक लोगों पर बेरोज़गारी धोखाधड़ी का गलत आरोप लगाया गया था, और एक समीक्षा में पाया गया कि MiDAS ने "केवल एल्गोरिदम के ज़रिए—धोखाधड़ी के 40,195 मामलों का न्यायनिर्णयन किया, जिनमें से 85 प्रतिशत में धोखाधड़ी का गलत निर्धारण हुआ"। दंड कठोर थे — दावे की गई राशि पर 400% जुर्माना, वेतन की कुर्की और कर-वापसी की राशि रोक लेना — और वकीलों ने सफल अपीलों में तेज़ी देखी; बाद में पता चला कि कई आरोप "बिना किसी मानवीय हस्तक्षेप के या आरोप की समीक्षा की किसी संभावना के बिना" उत्पन्न किए गए थे। दावेदारों ने 2015 में राज्य के विरुद्ध Bauserman v. Unemployment Insurance Agency में मुकदमा दायर किया; 2019 में मिशिगन सुप्रीम कोर्ट के यह निर्धारित करने के बाद कि सामूहिक मुकदमे में केवल वे लोग शामिल थे जिनसे 9 मार्च 2015 को या उसके बाद पहली बार धन वसूला गया था, और जुलाई 2022 में यह निर्णय देने के बाद कि वे राज्य के संविधान के तहत हर्जाने की माँग कर सकते हैं, राज्य ने $20 million के समझौते पर सहमति दी, जिसे मिशिगन कोर्ट ऑफ क्लेम्स ने 29 जनवरी 2024 को मंज़ूरी दी।

Robodebt. Robodebt ने उन लोगों के लिए कर कार्यालय की वार्षिक आय को पाक्षिक अवधियों में बाँटकर ऋण निर्धारित किए, जिन्होंने साक्ष्य प्रस्तुत नहीं किए थे; फ़ेडरल कोर्ट को बताया गया कि लगभग 433,000 लोगों पर $1.73 billion का ऋण गैरकानूनी ढंग से निर्धारित किया गया था और लगभग 381,000 लोगों से $751 million वसूले गए थे। Robodebt का पूरा अध्ययन देखें।

सर्बिया। सोशल कार्ड रजिस्टर औपचारिक रूप से पात्रता का निर्णय नहीं करता, लेकिन एमनेस्टी इंटरनेशनल ने पाया कि यह तत्काल समीक्षा शुरू करने वाली खतरे के संकेत वाली सूचनाओं के ज़रिए “अर्ध-स्वचालित निर्णय-निर्धारण शुरू करता है।” सरकारी आंकड़ों के अनुसार अगस्त 2023 में 176,000 लाभार्थी थे—मार्च 2022 की तुलना में 35,000 कम, जब कानून लागू हुआ था। यह गिरावट रजिस्टर की शुरुआत के साथ हुई, हालांकि एमनेस्टी का कहना है कि इस प्रणाली के कारण लाभ से वंचित किए गए लोगों की सटीक संख्या स्पष्ट नहीं है।

जोखिम चयन

SyRI। हेग जिला न्यायालय के अभिलेख बताते हैं कि 2008 से 2014 के बीच 160 हस्तक्षेप-दल परियोजनाएँ चलाई गईं और पूरी की गई 21 परियोजनाओं में से 19 में “पड़ोस-केंद्रित दृष्टिकोण” अपनाया गया। 1 जनवरी 2014 से प्रभावी SUWI अधिनियम के संशोधन के बाद पाँच SyRI परियोजनाएँ चलाई गईं, जिनमें रॉटरडैम, कैपेल आन डेन आइसल और हार्लेम के पड़ोसों की परियोजनाएँ शामिल थीं। राज्य ने जोखिम मॉडल और संकेतकों का खुलासा करने से इनकार करते हुए तर्क दिया कि अन्यथा नागरिक अपना व्यवहार बदल सकते हैं।

डच बाल-देखभाल लाभ मॉडल की जाँच एक अलग अध्ययन में की गई है: डेटा-संरक्षण प्राधिकरण ने पाया कि राष्ट्रीयता का इस्तेमाल एक संकेतक के रूप में हुआ था और उसने 2021 में कर प्रशासन पर €2.75 million का जुर्माना लगाया।

डेनमार्क। एमनेस्टी की रिपोर्ट के अनुसार, Udbetaling Danmark (जिसकी स्थापना 2012 में कानून द्वारा हुई) और पेंशन कंपनी ATP, जो उसकी ओर से लाभों का प्रशासन करती है, एक संयुक्त डेटा इकाई चलाते हैं। यह लाखों निवासियों के रजिस्टरों को जोड़ती है और जाँच के लिए चिह्नित लोगों की सूचियाँ बनाने हेतु प्रोफाइलिंग मॉडल इस्तेमाल करती है; 2019 तक एजेंसी लगभग 60 AI और मशीन-लर्निंग मॉडल इस्तेमाल करती बताई गई थी। एक मॉडल, “Model Abroad”, लाभार्थियों के “विदेशी जुड़ाव” का अंकन करता है और जाँच के लिए गैर-ईईए देशों से “मध्यम और मजबूत संबंध” रखने वाले लोगों को प्राथमिकता देता है।

यूनाइटेड किंगडम। द गार्जियन ने दिसंबर 2024 में रिपोर्ट किया कि फरवरी 2024 में किए गए DWP के “निष्पक्षता विश्लेषण” में यूनिवर्सल क्रेडिट के अग्रिम भुगतान के दावों की जाँच में इस्तेमाल किए जाने वाले मशीन-लर्निंग मॉडल में आयु, दिव्यांगता, वैवाहिक स्थिति और राष्ट्रीयता के आधार पर “सांख्यिकीय रूप से महत्त्वपूर्ण परिणाम-असमानता” पाई गई; नस्ल, लिंग, यौन अभिविन्यास, धर्म, गर्भावस्था या लिंग-पुनर्निर्धारण के लिए तब तक कोई निष्पक्षता विश्लेषण नहीं किया गया था।

निष्कर्ष 2: प्रतिनिधि संकेतक और डेटा की गुणवत्ता

संरक्षित विशेषताएँ और उनके प्रतिनिधि संकेतक

SyRI न्यायालय ने पाया कि जोखिम मॉडल का इस्तेमाल “इस जोखिम को जन्म देता है कि भेदभावपूर्ण प्रभाव—चाहे अनजाने में हों या अन्यथा—उत्पन्न हों”, और दावेदारों के इस तर्क का उल्लेख किया कि समस्याग्रस्त पड़ोसों को लक्षित करने से “ऐसे इलाकों में अनियमितताओं का पता चलने की संभावना बढ़ती है”, जो “बदले में उस पड़ोस की समस्याग्रस्त इलाके के रूप में छवि की पुष्टि करता है।” डेनमार्क पर एमनेस्टी की रिपोर्ट सापेक्ष मापदंडों के बारे में यही बात कहती है: “मध्यम और मजबूत संबंध” अन्य लाभार्थियों के सापेक्ष परिभाषित किए जाते हैं, वस्तुनिष्ठ मानदंडों के आधार पर नहीं।

निर्णय के रूप में खराब डेटा

सर्बिया दिखाता है कि नुकसान पहुँचाने के लिए परिष्कृत मॉडलों की आवश्यकता नहीं होती। एमनेस्टी एक ऐसी महिला का मामला दर्ज करता है जिसने फरवरी 2023 में सामाजिक सहायता खो दी, क्योंकि एक मानवाधिकार समूह ने उसकी बेटी के अंतिम संस्कार का खर्च उठाने में मदद के लिए 20,000 दिनार की राहत राशि जमा की थी, जिसे रजिस्टर ने आय के रूप में चिह्नित कर दिया; साथ ही, रोमा परिवारों के ऐसे मामले भी दर्ज हैं जिन्होंने सहायता इसलिए खो दी क्योंकि कबाड़ के लिए वर्षों पहले बेची गई कारें अब भी उनके नाम पर पंजीकृत थीं। रोबोडेब्ट में औसत निकालना भी इसी तरह की सरल धारणा थी। दोनों मामलों में, त्रुटि यह थी कि डेटा की एक कृत्रिम विसंगति को किसी व्यक्ति के जीवन के बारे में तथ्य मान लिया गया।

निष्कर्ष 3: प्रक्रिया में मानव की सीमाएँ

इनमें से अधिकांश प्रणालियों में प्रक्रिया के किसी न किसी चरण पर मानव शामिल था। इससे नुकसान नहीं रुका:

• कारण नहीं, निर्णय नहीं। एमनेस्टी की रिपोर्ट है कि उच्च-जोखिम वाले बाल-देखभाल आवेदनों की समीक्षा करने वाले डच सरकारी कर्मचारियों को “यह नहीं बताया गया कि प्रणाली ने आवेदन को उच्च-जोखिम अंक क्यों दिया था।”
• निर्णय को मान लेना। सर्बियाई दावेदारों ने एमनेस्टी को बताया कि सामाजिक कार्यकर्ता निर्णयों का श्रेय “नई प्रणाली” को देते थे और कहते थे कि वे सूचनाओं को पलट नहीं सकते; “मैं कुछ नहीं कर सकता, यह बेलग्रेड की नई प्रणाली है जिसने फैसला किया”—ऐसा उत्तर सबसे अधिक दर्ज किया गया।
• औपचारिकता से आश्वासन। DWP ने 2024 के मध्य में कहा था कि मॉडल “भेदभाव को लेकर कोई तात्कालिक चिंता पैदा नहीं करता”, जिसका एक कारण यह था कि “किसी व्यक्ति को कल्याणकारी भुगतान मिलेगा या नहीं, इसका अंतिम निर्णय अब भी एक मानव ही करता है।”

प्रायोगिक साक्ष्य सरल व्याख्याओं को जटिल बनाते हैं। अलोन-बरकत और बुसुइओक ने नीदरलैंड में तीन प्रयोग किए (जिनमें क्रमशः 605, 904 और 1,345 प्रतिभागी थे; अंतिम नमूने में सरकारी कर्मचारी शामिल थे)। उन्हें सामान्य स्वचालन पूर्वाग्रह का कोई प्रमाण नहीं मिला—प्रतिभागियों ने समान मानव-विशेषज्ञ सलाह की तुलना में एल्गोरिदम की सलाह का अधिक अनुसरण नहीं किया—लेकिन उन्हें चयनात्मक अनुपालन मिला: दूसरे अध्ययन में, प्रतिभागियों द्वारा समूह संबंधी रूढ़ियों के अनुरूप सलाह का अनुसरण करने की संभावना अधिक थी। बाल-देखभाल लाभ घोटाले के तुरंत बाद सर्वेक्षण किए गए सरकारी कर्मचारियों में यह पैटर्न नहीं दिखा; लेखकों के अनुसार इसका कारण बढ़ी हुई जागरूकता थी। बेन ग्रीन का व्यापक तर्क है कि सरकारी एल्गोरिदम पर मानव निगरानी अनिवार्य करने वाली नीतियाँ एक कमजोर आधार पर टिकी हैं—लोग एल्गोरिदम की निगरानी करने में कुशल नहीं होते—और दोषपूर्ण प्रणालियों को वैधता दे सकती हैं; इसके बजाय उनका प्रस्ताव है कि एजेंसियाँ एल्गोरिदम के इस्तेमाल को उचित ठहराएँ और निगरानी व्यक्तिगत के बजाय संस्थागत हो।

निष्कर्ष 4: प्रणालियों का खुलासा कैसे हुआ और उन्हें कैसे रोका गया

न्यायालय: प्रमुख मिसाल के रूप में SyRI

SyRI का निर्णय सबसे स्पष्ट कानूनी परिणाम है। न्यायालय ने SyRI कानून का परीक्षण मानवाधिकारों पर यूरोपीय अभिसमय के अनुच्छेद 8(2) के तहत किया, जिसके अनुसार जनहित और निजी जीवन में हस्तक्षेप के बीच "उचित संतुलन" होना आवश्यक है। न्यायालय ने पाया कि कानून में "जोखिम संकेतकों और जोखिम मॉडल के संबंध में निजी जीवन के सम्मान के अधिकार की रक्षा के लिए पर्याप्त सुरक्षा उपाय नहीं हैं", कि यह सत्यापित करना असंभव था कि मॉडल का "सरल निर्णय-वृक्ष" कैसे बनाया गया, और इसलिए "यह समझना कठिन है कि डेटा-विषय यह बचाव कैसे कर सकता है कि उसके या उसके बारे में जोखिम रिपोर्ट प्रस्तुत की गई है"। दूसरे शब्दों में, पारदर्शिता को चुनौती देने की क्षमता की पूर्वशर्त माना गया। अत्यधिक गरीबी और मानवाधिकारों पर संयुक्त राष्ट्र के विशेष प्रतिवेदक, फ़िलिप ऑल्स्टन ने 26 सितंबर 2019 को दावेदारों के मामले के समर्थन में एक एमिकस क्यूरी संक्षिप्त विवरण प्रस्तुत किया था, और निर्णय में दर्ज है कि कार्यवाही में दावेदारों को FNV ट्रेड यूनियन महासंघ तथा विशेष प्रतिवेदक का समर्थन प्राप्त था (पैरा. 6.92)।

नियामक और जाँच

नीदरलैंड में डेटा-संरक्षण प्राधिकरण ने राजनीतिक घोटाले को स्वयं मॉडल के बारे में कानूनी निष्कर्ष में बदला, जबकि संसदीय जाँच ने राजनीतिक जवाबदेही सुनिश्चित की। इसके विपरीत, ऑस्ट्रेलिया में रॉयल कमीशन ने पाया कि लोकपाल, सूचना आयुक्त और प्रशासनिक अपील अधिकरण ने "योजना को जारी रखने में" बहुत कम "बाधा" उत्पन्न की; मुकदमेबाज़ी और सरकार में बदलाव ने यह काम किया।

व्यक्तिगत अपीलें

व्यक्तिगत अपीलों से लोगों को मदद मिली, लेकिन उनसे व्यवस्थाएँ शायद ही कभी रुकीं। मिशिगन में सफल अपीलें वह संकेत थीं जिनसे MiDAS उजागर हुआ। सर्बिया में, एमनेस्टी एक ऐसी महिला का दस्तावेज़ीकरण करती है जिसने कई महीनों तक सहायता के बिना रहने के बाद, दूसरे प्रयास में निःशुल्क कानूनी सहायता से बहाली हासिल की। Robodebt के रॉयल कमीशन ने पाया कि अधिकरण प्रणाली व्यवस्था-स्तरीय निगरानी के रूप में अप्रभावी थी।

साक्ष्य क्या नहीं दर्शाते

• यह नहीं दिखाता कि स्वचालित प्रवर्तन काम नहीं कर सकता। अच्छी तरह से डिज़ाइन किया गया डेटा मिलान इन नुकसानों के बिना त्रुटियाँ कम कर सकता है; ऐसी प्रणालियाँ शायद ही कभी अदालती फैसलों का विषय बनती हैं, इसलिए यहाँ उनका प्रतिनिधित्व कम है।
• यह नहीं दिखाता कि मशीन लर्निंग मुख्य ख़तरा है। सबसे अधिक नुकसान पहुँचाने वाली प्रणालियाँ—MiDAS और Robodebt—नियमों और अंकगणित पर निर्भर थीं। मॉडल के प्रकार से अधिक महत्वपूर्ण हैं अपारदर्शिता, प्रॉक्सी और उलटे गए प्रमाण-भार।
• यह तुलनीय त्रुटि-दरें उपलब्ध नहीं कराता। स्वचालित निर्णयों की त्रुटि के बारे में रिपोर्ट किया गया आँकड़ा केवल MiDAS के लिए है, और वह भी किसी अन्य स्रोत से उद्धृत समीक्षा पर आधारित है।
• यह डेनमार्क और ब्रिटेन के मामलों का निपटारा नहीं करता। दोनों सरकारें आलोचकों के निष्कर्षों पर विवाद करती हैं; दस्तावेज़ी रिकॉर्ड अधूरा और संपादित है।
• यह नहीं दिखाता कि एक ही सुरक्षा उपाय पर्याप्त है। हर मामले में एक साथ कई सुरक्षा उपाय अनुपस्थित थे।

संस्थागत डिज़ाइन के लिए निहितार्थ

1. डेटा मिलान या स्कोर को कभी भी प्रमाण न मानें। प्रतिकूल निष्कर्षों के लिए ऐसा साक्ष्य आवश्यक होना चाहिए जो किसी स्वतंत्र समीक्षक की कसौटी पर खरा उतरे; प्रमाण का भार प्राधिकरण पर ही रहना चाहिए।
2. चयन को दंड से अलग रखें। जाँच के लिए चिह्नित किए जाने से भुगतान निलंबित नहीं होना चाहिए और न ही स्वतंत्र साक्ष्य तथा जवाब देने का अवसर दिए बिना कोई लेबल लगाया जाना चाहिए।
3. मॉडल का आधार और उसकी त्रुटि-प्रोफ़ाइल प्रकाशित करें। SyRI दिखाता है कि अदालतें अप्रकट मॉडलों को कानूनी संरक्षण के साथ असंगत मानेंगी। तर्क को उजागर किए बिना भी तर्क-पद्धति और सत्यापन के परिणाम बताकर "गेमिंग" संबंधी चिंताओं का समाधान किया जा सकता है; लाइव सीमाएँ उजागर करना आवश्यक नहीं।
4. केवल संरक्षित विशेषताओं ही नहीं, प्रॉक्सी की भी जाँच करें, और लागू करने से पहले सभी संरक्षित विशेषताओं का परीक्षण करें—DWP ने केवल कुछ की जाँच की थी।
5. समीक्षकों को कारण और अधिकार दें। मानव समीक्षक को किसी फ़्लैग के पीछे के कारक, जाँच के लिए समय और उसे पलटने का स्पष्ट अधिकार चाहिए; साथ ही, अधीनता से बचने के लिए प्रशिक्षण भी।
6. व्यवस्थागत कार्रवाई के संकेतक बनाएँ। जब किसी प्रणाली के विरुद्ध अपीलें असामान्य दर से सफल हों, तो लोकपाल या नियामक को समीक्षा लंबित रहने तक प्रणाली निलंबित करने में सक्षम होना चाहिए।
7. पूरी लागत की गणना करें। मूल्यांकनों में केवल वसूली ही नहीं, बल्कि गलत ऋण, धन-वापसी, मुकदमेबाज़ी और मुआवज़े को भी शामिल किया जाना चाहिए।

अनुत्तरित प्रश्न

• कितनी स्वचालित कल्याण-प्रवर्तन प्रणालियाँ बिना किसी बाहरी जाँच के उपयोग में हैं, और रजिस्टर उन्हें दृश्य कैसे बना सकते हैं?
• क्या आवश्यक सार्वजनिक सेवाओं तक पहुँच को उच्च-जोखिम मानने और सामाजिक स्कोरिंग पर रोक लगाने का EU AI Act का दृष्टिकोण डेनमार्क जैसी प्रथाओं को बदलेगा—और वर्गीकरण संबंधी विवादों का निर्णय कौन करेगा?
• जब सरकारें प्रभावित समूहों की जानकारी को संपादित कर देती हैं, तो निष्पक्षता परीक्षण को सार्थक कैसे बनाया जा सकता है?
• क्या सामूहिक मुकदमों और नियामक जुर्मानों जैसे व्यवस्थागत उपाय भविष्य में होने वाले नुकसान को रोकते हैं, या मुख्यतः अतीत के नुकसान की भरपाई करते हैं?
• एक सकारात्मक मानदंड कैसा दिखेगा—ऐसी स्वचालित प्रवर्तन प्रणाली जिसमें प्रकाशित त्रुटि-दरें, आपत्ति-संबंधी आँकड़े और स्वतंत्र लेखापरीक्षा हों?

स्रोत

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24 जनवरी 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6 दिसंबर 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. न्यूयॉर्क: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, पेरिस.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26 सितंबर 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30 जनवरी 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20 अक्टूबर 2022.