Автоматизированный контроль социальных выплат: сравнение семи задокументированных систем

С середины 2010-х годов правительства стран с высоким и средним уровнем дохода автоматизировали отдельные аспекты контроля за соблюдением условий получения социальных пособий: сопоставляли записи для выявления переплат, оценивали заявления на предмет риска мошенничества и проверяли право на получение пособий по национальным реестрам. Семь таких систем сегодня документированы особенно подробно, поскольку их изучали суды, регулирующие органы, парламенты или исследователи в области прав человека: нидерландская система оценки рисков SyRI и модель оценки рисков при назначении пособия по уходу за детьми, система страхования по безработице штата Мичиган MiDAS, австралийская Robodebt, модели контроля мошенничества датского ведомства Udbetaling Danmark, модель авансовых выплат по универсальному кредиту Министерства труда и пенсий Великобритании (DWP) и сербский реестр «Социальная карта». В этом исследовании они сопоставляются по общему набору критериев — что делала система, какие данные использовала, какую роль сохранял за собой человек, насколько система была прозрачной, как её решения можно было оспорить и чем всё закончилось, — чтобы определить, какие типы сбоев повторяются и какие меры защиты подтверждаются имеющимися данными.

Основные выводы

• Два разных типа систем часто объединяют в одну категорию. Автоматизация принятия решений (MiDAS, Robodebt и, по сути, сербский реестр) непосредственно выносила неблагоприятные решения; отбор по риску (SyRI, нидерландская модель оценки пособий по уходу за детьми, датская и модель DWP) определял, кого проверять. Сбои первого типа приводят к массовым ошибочным решениям, второго — к несправедливому выбору тех, кто подвергается проверкам.
• Наиболее серьёзный документально подтверждённый вред был причинён системами автоматизации принятия решений, которые переносили бремя доказывания на граждан. Согласно обзору, на который ссылался IEEE Spectrum, MiDAS рассмотрела исключительно алгоритмическим способом 40,195 дел о мошенничестве, и в 85% случаев выводы были ошибочными; Robodebt предъявила примерно 433,000 человек требования о погашении незаконно начисленных долгов на сумму около $1.73 billion.
• Системы отбора дают сбои из-за использования косвенных признаков. Повторяются такие признаки, как национальность (Нидерланды), «иностранные связи» и «нестандартные» модели состава домохозяйства (Дания), отбор по районам проживания (SyRI), а также различия по возрасту, инвалидности, семейному положению и национальности (Великобритания). Ни одна из систем отбора не публиковала проверенные показатели ошибок в разбивке по группам.
• Заявление «окончательное решение принимает человек» не защитило людей. Нидерландским чиновникам не сообщали, почему заявка получила высокий балл риска; сербские социальные работники говорили заявителям: «это новая система из Белграда решила»; DWP полагалось на решения сотрудников, рассматривавших дела, чтобы признать свою модель соразмерной, прежде чем собственный анализ справедливости выявил неравенство.
• Системы останавливали внешние институты, а не внутренняя оценка. Эту работу выполняли суды (SyRI в 2020 году; судебные разбирательства по Robodebt в 2019–2021 годах), орган по защите данных (Нидерланды), парламентское расследование, а также расследования НКО и журналистов.
• Повторяющиеся условия, способствующие таким сбоям, носят политический и правовой характер: цели по сокращению расходов, риторика о мошенничестве, законы без оговорок о трудных жизненных обстоятельствах, секретность, оправдываемая опасениями, что люди будут «обходить систему», и слабые или медленные средства индивидуальной правовой защиты.

Исследовательский вопрос и рамки

Исследовательский вопрос: какие особенности проектирования и институциональные условия связаны с серьёзным вредом в хорошо документированных случаях автоматизированного контроля за соблюдением условий получения социальных пособий и какие меры защиты действительно сработали?

Отбор случаев. В выборку включались случаи, когда систему изучал авторитетный внешний орган — суд, регулирующий орган, парламентская комиссия по расследованию или королевская комиссия — либо подробное опубликованное расследование, основанное на официальных документах. Такой отбор отдаёт предпочтение скандалам и не является случайной выборкой алгоритмов социального обеспечения; большинство действующих систем вообще никогда не подвергалось изучению. В 2026 году ОЭСР сообщила, что лишь 10 из 36 стран ОЭСР оценивают воздействие хотя бы одного случая применения ИИ в органах власти, поэтому оценить неисследованное большинство невозможно.

Параметры сравнения. Каждый случай сопоставляется по функции, данным, роли человека, прозрачности, возможности оспаривания, результату и органу, который остановил систему или предал её огласке.

Предыстория

Почему автоматизируют контроль за получателями пособий

Пособия, назначаемые с учётом нуждаемости, предполагают обработку больших объёмов небольших, поддающихся проверке фактов — доходов, состава домохозяйства, места жительства, — которые хранятся в разных базах данных. Сопоставлять их недорого, а правительства постоянно испытывают политическое давление, требующее бороться с мошенничеством и ошибками. Например, Министерство труда и пенсий Великобритании (DWP) обосновывало свою модель усилиями по сокращению ежегодных потерь от мошенничества и ошибок, оцениваемых в £8 billion, согласно публикации Guardian. Однако Королевская комиссия Австралии по делу Robodebt заслушала свидетельства о том, что «мошенничество в системе социального обеспечения было ничтожным», и предупредила: «антисоциальная риторика — это лёгкий популизм». Разрыв между предполагаемым и измеренным уровнем мошенничества — одна из повторяющихся причин внедрения таких систем.

Более ранняя тенденция

Эти системы вписываются в более длительную историю. В книге Вирджинии Юбэнкс Automating Inequality (2018) задокументировано, как автоматизация проверки права на пособия, модели оценки рисков и реестры в США перенаправили контроль на бедные домохозяйства; приведённые ниже случаи — европейские и австралийские аналоги, теперь подкреплённые более весомыми юридическими материалами.

Метод и источники

Доказательства взяты из первичных правовых и регуляторных документов, где они доступны: решения Окружного суда Гааги по делу SyRI и заключения amicus curiae Специального докладчика ООН по этому делу, сообщений генерального прокурора Мичигана об урегулировании дела Bauserman, выводов Нидерландского управления по защите данных и отчёта нидерландской парламентской комиссии по расследованию. Также использованы подробные расследования, основанные на официальных документах: доклады Amnesty International о Дании (2024) и Сербии (2023), публикация Guardian об анализе справедливости DWP, обнародованном в соответствии с законодательством о свободе информации, описание MiDAS в IEEE Spectrum и материалы о Федеральном суде Австралии и Королевской комиссии. Для анализа человеческого надзора использованы две рецензируемые работы: экспериментальные исследования Алон-Барката и Бусюок (2023) и политологический анализ Грина (2022).

Ограничения. Доклады НПО — это документы, подготовленные в рамках правозащитной деятельности; их фактические описания опираются на официальные материалы, полученные на основании законов о доступе к информации, но их правовые выводы оспариваются соответствующими правительствами (например, датское ведомство Udbetaling Danmark отвергает мнение Amnesty о том, что его модели представляют собой запрещённую социальную оценку). Ключевые части анализа справедливости DWP были скрыты при публикации. Данные об ошибках MiDAS взяты из обзора, о котором сообщалось в техническом журнале, а не из судебного решения. Сопоставимых показателей результатов — ложноположительных срабатываний, неправомерно назначенных санкций, сумм взысканий — для разных случаев нет.

Вывод 1: что делали эти системы

Автоматизация принятия решений

MiDAS. В публикации IEEE Spectrum за 2018 год сообщается, что с октября 2013 года по сентябрь 2015 года в Мичигане более 34 000 человек были ошибочно обвинены в мошенничестве при получении пособия по безработице; согласно результатам проверки, MiDAS «рассмотрела — только с помощью алгоритма — 40 195 случаев мошенничества, причем в 85 процентах случаев выводы о мошенничестве были ошибочными». Наказания были суровыми — штраф в размере 400% от заявленной суммы, удержание части заработной платы и взыскание налоговых возвратов, — а юристы заметили резкий рост числа успешно обжалованных решений, прежде чем выяснили, что многие обвинения выдвигались «без какого-либо участия человека или возможности проверить обвинение». В 2015 году заявители подали иск против штата по делу Bauserman v. Unemployment Insurance Agency; после того как в 2019 году Верховный суд Мичигана постановил ограничить состав истцов людьми, с которых впервые взыскали деньги 9 марта 2015 года или позднее, а в июле 2022 года постановил, что они вправе требовать возмещения ущерба на основании конституции штата, штат согласился выплатить 20 млн долларов по мировому соглашению, которое Суд по претензиям штата Мичиган утвердил 29 января 2024 года.

Robodebt. Система Robodebt начисляла задолженность, распределяя годовой доход по данным налоговой службы по двухнедельным периодам, если люди не предоставляли подтверждающие документы; Федеральный суд заслушал сведения о том, что в отношении примерно 433 000 человек незаконно начислили 1,73 млрд долларов задолженности, а с примерно 381 000 человек взыскали 751 млн долларов. См. полное исследование Robodebt.

Сербия. Реестр «Социальная карта» формально не принимает решений о соответствии критериям, однако Amnesty International установила, что он «внедряет полуавтоматизированное принятие решений» посредством уведомлений о тревожных признаках, запускающих срочные проверки. По данным правительства, в августе 2023 года получателями пособий были 176,000 человек — на 35,000 меньше, чем в марте 2022 года, когда закон вступил в силу; это сокращение совпало с внедрением реестра, хотя Amnesty отмечает, что точное число отказов, обусловленных работой системы, неизвестно.

Отбор по риску

SyRI. Окружной суд Гааги зафиксировал, что в период с 2008 по 2014 год было реализовано 160 проектов межведомственных групп быстрого реагирования, а в 19 из 21 завершённого проекта применялся «ориентированный на район подход». После внесения поправок в Закон SUWI, вступивших в силу 1 января 2014 года, было реализовано пять проектов SyRI, в том числе в районах Роттердама, Капелле-ан-ден-Эйсселе и Харлема. Государство отказалось раскрыть модель оценки рисков и индикаторы, заявив, что иначе граждане могли бы скорректировать своё поведение.

Модель назначения пособий по уходу за детьми в Нидерландах рассматривается в отдельном исследовании: орган по защите данных установил, что в качестве индикатора использовалось гражданство, и в 2021 году оштрафовал налоговую администрацию на €2.75 млн.

Дания. Amnesty сообщает, что Udbetaling Danmark (учреждена законом в 2012 году) и пенсионная компания ATP, которая администрирует пособия от её имени, управляют Объединённым подразделением по работе с данными, которое объединяет реестры с данными о миллионах жителей и использует модели профилирования для составления списков людей, отмеченных для расследования; по сообщениям, в 2019 году ведомство использовало около 60 моделей искусственного интеллекта и машинного обучения. Одна из них, «Модель „за рубежом“», оценивает «связи с зарубежными странами» получателей пособий и ставит в приоритет для проверки людей, имеющих «связи средней и высокой интенсивности» со странами за пределами ЕЭЗ.

Великобритания. В декабре 2024 года The Guardian сообщила, что проведённый DWP в феврале 2024 года «анализ справедливости» выявил «статистически значимое различие результатов» в модели машинного обучения, используемой для проверки заявок на авансовые выплаты по универсальному кредиту, по возрасту, инвалидности, семейному положению и гражданству; анализ справедливости в отношении расы, пола, сексуальной ориентации, религии, беременности или смены пола к тому моменту не проводился.

Вывод 2: косвенные показатели и качество данных

Защищённые признаки и их косвенные показатели

Суд по делу SyRI установил, что использование модели оценки рисков «несёт риск возникновения дискриминационных последствий — непреднамеренных или иных», и отметил довод истцов о том, что выбор проблемных районов в качестве целевых «увеличивает вероятность выявления нарушений в таких районах», что «в свою очередь закрепляет представление о районе как о проблемной территории». В докладе Amnesty о Дании приводится тот же аргумент в отношении относительных показателей: «связи средней и высокой интенсивности» определяются по сравнению с другими получателями пособий, а не на основании объективных критериев.

Некачественные данные как основание для решения

Опыт Сербии показывает, что для причинения вреда не нужны сложные модели. Amnesty приводит пример женщины, лишившейся социальной помощи в феврале 2023 года после того, как правозащитная организация перечислила ей 20,000 динаров на расходы по похоронам дочери: реестр отметил эту выплату как доход. Также описаны семьи рома, лишившиеся помощи, поскольку автомобили, проданные на металлолом за несколько лет до этого, всё ещё числились на их имя. Усреднение данных в системе Robodebt основывалось на столь же простом допущении. В обоих случаях ошибка заключалась в том, что артефакт данных принимали за факт из жизни человека.

Вывод 3: ограничения человеческого участия в процессе

В большинстве этих систем на каком-то этапе процесса участвовал человек. Это не предотвратило вред:

• Нет объяснений — нет возможности вынести обоснованное суждение. Amnesty сообщает, что нидерландским госслужащим, проверявшим заявки на пособие по уходу за детьми с высоким уровнем риска, «не сообщали, почему система присвоила заявке высокий балл риска».
• Доверие к системе. Заявители в Сербии рассказали Amnesty, что социальные работники объясняли решения тем, что их приняла «новая система», и говорили, что не могут отменить уведомления; чаще всего, согласно собранным свидетельствам, они отвечали: «Я ничего не могу сделать, это новая система из Белграда решила».
• Гарантии, основанные на формальностях. В середине 2024 года DWP заявило, что модель «не вызывает непосредственных опасений в отношении дискриминации», в частности потому, что «окончательное решение о выплате человеку пособия по-прежнему принимает человек».

Экспериментальные данные усложняют упрощённые объяснения. Алон-Барката и Бусиок провели в Нидерландах три эксперимента (с участием 605, 904 и 1,345 человек; в последнем участвовала выборка госслужащих). Они не обнаружили свидетельств общего предубеждения в пользу автоматизации — участники не следовали советам алгоритма чаще, чем аналогичным советам экспертов-людей, — но выявили избирательное следование рекомендациям: во втором исследовании участники чаще следовали советам, согласующимся с групповыми стереотипами. Такая закономерность не наблюдалась среди госслужащих, опрошенных вскоре после скандала с пособиями по уходу за детьми; авторы объясняют это повышенным уровнем осведомлённости. Бен Грин выдвигает более общий аргумент: политика, требующая человеческого надзора за государственными алгоритмами, основана на слабой предпосылке — люди плохо справляются с надзором за алгоритмами, — и может придавать легитимность несовершенным системам. Вместо этого он предлагает обязать ведомства обосновывать использование алгоритмов, а надзор сделать институциональным, а не индивидуальным.

Вывод 4: как системы были разоблачены и остановлены

Суды: SyRI как главный прецедент

Решение по делу SyRI — самый ясный правовой результат. Суд проверил соответствие законодательства о SyRI статье 8(2) Европейской конвенции по правам человека, которая требует «справедливого баланса» между защищаемым общественным интересом и вмешательством в частную жизнь. Суд установил, что законодательство «содержит недостаточные гарантии защиты права на уважение частной жизни в отношении индикаторов риска и модели оценки риска», что невозможно проверить, каким образом была создана «простая схема принятия решений» модели, и что поэтому «трудно понять, каким образом субъект данных мог бы защищаться от факта подачи в отношении него или неё отчёта о риске». Иными словами, прозрачность рассматривалась как предварительное условие оспаривания. Специальный докладчик ООН по вопросу о крайней нищете и правах человека Филип Олстон 26 September 2019 представил заключение amicus curiae в поддержку позиции истцов; в решении отмечается, что в ходе разбирательства истцов поддерживали федерация профсоюзов FNV и Специальный докладчик (п. 6.92).

Регуляторы и расследования

В Нидерландах именно орган по защите данных превратил политический скандал в правовую оценку самой модели, а парламентское расследование заставило политиков принять на себя ответственность. В Австралии, напротив, Королевская комиссия установила, что омбудсмен, уполномоченный по вопросам информации и Административный апелляционный трибунал почти не «препятствовали продолжению действия Схемы»; эту задачу выполнили судебные разбирательства и смена правительства.

Индивидуальные апелляции

Индивидуальные апелляции помогали отдельным людям, но редко останавливали работу систем. В Мичигане успешные апелляции стали сигналом, благодаря которому была выявлена MiDAS. В Сербии Amnesty приводит случай женщины, которой после нескольких месяцев без поддержки удалось со второй попытки добиться восстановления выплат при помощи бесплатной юридической помощи. Королевская комиссия по делу Robodebt пришла к выводу, что система трибуналов не обеспечивала эффективного системного контроля.

Чего не показывают имеющиеся данные

• Это не показывает, что автоматизированное правоприменение не может работать. Хорошо спроектированное сопоставление данных может снизить число ошибок без такого вреда; подобные системы редко становятся предметом судебных решений, поэтому в этом обзоре они представлены недостаточно.
• Это не показывает, что машинное обучение представляет главную опасность. Наиболее разрушительные системы — MiDAS и Robodebt — опирались на правила и арифметические расчёты. Непрозрачность, прокси-показатели и перенос бремени доказывания имеют большее значение, чем тип модели.
• Это не позволяет сопоставить показатели ошибок. Только для MiDAS приводится показатель ошибок автоматизированных решений, причём он взят из обзора, о котором сообщалось из вторых рук.
• Это не разрешает споры вокруг датского и британского случаев. Оба правительства оспаривают выводы критиков; документальная база неполна и отредактирована.
• Это не показывает, что достаточно одной гарантии. В каждом случае одновременно отсутствовали несколько гарантий.

Последствия для проектирования институтов

1. Никогда не считайте совпадение данных или оценку доказательством. Для неблагоприятных выводов должны требоваться доказательства, которые выдержали бы проверку независимого эксперта; бремя доказывания должно оставаться на органе власти.
2. Разделяйте отбор и санкции. Попадание в список для проверки не должно приостанавливать выплаты или приводить к присвоению ярлыков без независимых доказательств и возможности дать ответ.
3. Публикуйте основания модели и профиль её ошибок. Дело SyRI показывает, что суды будут считать нераскрытые модели несовместимыми с правовой защитой. Опасения по поводу «подстройки под систему» можно снять, раскрыв логику и результаты валидации, не раскрывая действующие пороговые значения.
4. Проверяйте прокси-показатели, а не только защищённые признаки, и до внедрения проверяйте все защищённые характеристики — DWP проверило лишь некоторые.
5. Предоставляйте проверяющим обоснования и полномочия. Проверяющему-человеку нужны факторы, послужившие основанием для сигнала, время на расследование и чётко закреплённое право отменить решение, а также обучение, помогающее противостоять склонности полагаться на систему.
6. Создайте механизмы системного реагирования. Если жалобы на систему удовлетворяются с необычно высокой частотой, омбудсмен или регулирующий орган должен иметь возможность приостановить её работу до завершения проверки.
7. Учитывайте все издержки. При оценке следует учитывать неправомерно начисленные долги, возвраты средств, судебные разбирательства и компенсации, а не только взысканные суммы.

Открытые вопросы

• Сколько систем автоматизированного контроля за соблюдением правил получения социальных пособий используется без какой-либо внешней проверки и как реестры могли бы сделать их видимыми?
• Изменит ли подход Закона ЕС об ИИ, относящий доступ к основным государственным услугам к сфере высокого риска и запрещающий социальный скоринг, такие практики, как датская, — и кто будет разрешать споры о классификации?
• Можно ли сделать проверку справедливости содержательной, если правительства скрывают сведения о затронутых группах?
• Помогают ли системные меры защиты, такие как коллективные иски и штрафы регулирующих органов, сдерживать будущий вред или в основном компенсируют уже причинённый вред?
• Как мог бы выглядеть позитивный эталон — система автоматизированного правоприменения с опубликованными показателями ошибок, данными об оспаривании решений и независимым аудитом?

Источники

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24 January 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6 December 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. New York: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, Paris.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26 September 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30 January 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20 October 2022.