Алгократия

Алгократия (правление посредством алгоритмов) описывает системы, в которых программное обеспечение, а не иерархическое управление или письменные правила, применяемые людьми, организует и ограничивает поведение. Правило больше не является чем-то, что интерпретирует чиновник; оно встроено в код, определяющий, какие варианты доступны, какие данные собираются и какой результат следует.

Термин ввёл социолог А. Аниш, описывая, как работа с программным обеспечением, распределённая по всему миру, контролировалась через платформы программирования, а не посредством бюрократического надзора. Позднее философы и специалисты по праву стали применять его к принятию государственных решений: определению права на социальные пособия, выявлению мошенничества, полицейской деятельности, иммиграции, налоговому контролю и распределению государственных услуг.

Алгократия отличается от технократии. Технократия — это правление экспертов-людей; алгократия — это правление посредством систем, логика которых может быть непрозрачной даже для тех, кто их внедряет. Она отличается от использования ИИ в государственном управлении акцентом: предмет беспокойства — не сама технология, а изменение способов осуществления власти и оспаривания её решений.

Аниш: от бюрократии к коду

Аниш противопоставил три способа организации: бюрократический (правила и иерархия), паноптический (видимость и надзор) и алгократический (запрограммированная среда, непосредственно формирующая действия). В алгократической системе работник или гражданин не подчиняется правилу; он просто не может сделать ничего, что система не позволяет. Контроль заложен в архитектуру.

Данахер: угроза алгократии

Джон Данахер утверждал, что системы принятия алгоритмических решений угрожают легитимности публичных решений. Согласно многим подходам, легитимные процедуры требуют, чтобы затронутые ими лица могли понимать основания решений и участвовать в их обсуждении. Если алгоритмы становятся точнее людей, но менее понятными, общества сталкиваются с дилеммой: принимать непрозрачные, но более качественные решения или настаивать на понятных, но худших. Данахер рассматривал стратегии сопротивления и адаптации, в том числе человеческий надзор и повышение понимания со стороны людей, и сомневался, что какой-либо из этих подходов полностью решает проблему.

Алгоритмическое регулирование

Карен Юнг определила алгоритмическое регулирование как системы принятия решений, регулирующие определённую сферу деятельности посредством непрерывного сбора и анализа данных для управления рисками или изменения поведения. Она разграничила реактивные и упреждающие системы и показала, как они переводят регулирование от правил к обратной связи в режиме реального времени, зачастую без процессуальных гарантий административного права.

Код — это закон

Тезис Лоуренса Лессига о том, что программная архитектура регулирует не меньше, чем закон, — предшественник этой идеи: если «код» киберпространства определяет, что возможно, те, кто его пишет, осуществляют особую форму управления. Блокчейн-проекты развивают эту мысль дальше, рассматривая смарт-контракты как самоисполняемые правила.

• Нидерланды, SyRI: система правительства Нидерландов System Risk Indication связывала базы данных, чтобы выявлять людей для расследования случаев мошенничества при получении пособий. 5 февраля 2020 года Окружной суд Гааги постановил, что законодательство, разрешавшее её применение, нарушает статью 8 Европейской конвенции по правам человека (право на уважение частной жизни), указав на недостаточную прозрачность и отсутствие надлежащих гарантий.
• Нидерланды, пособия по уходу за детьми: парламентская комиссия по расследованию в своём докладе Ongekend onrecht ("Беспрецедентная несправедливость", декабрь 2020 года) установила, что налоговая администрация ошибочно считала тысячи родителей мошенниками, причём при оценке рисков учитывалось гражданство; третий кабинет Рютте ушёл в отставку в январе 2021 года.
• Австралия, Robodebt: примерно с июля 2015 года по ноябрь 2019 года автоматизированная система усредняла годовые налоговые данные для начисления задолженности по пособиям. В коллективном иске правительство Содружества признало, что задолженность, рассчитанная исключительно на основе усреднения доходов, не имела надлежащего правового основания, а Федеральный суд утвердил соглашение об урегулировании на сумму $112 миллионов 11 июня 2021 года (Prygodicz v Commonwealth (No 2) [2021] FCA 634). Королевская комиссия представила доклад 7 июля 2023 года, содержащий суровые выводы о разработке и администрировании системы.
• Соединённые Штаты: Вирджиния Юбанкс описала автоматизированные системы определения права на пособия и оценки рисков для детей в Индиане, Лос-Анджелесе и округе Аллегейни, утверждая, что они усиливают надзор за бедными.
• Албания: в 2025 году правительство представило систему искусственного интеллекта по имени Диелла как «министра» по государственным закупкам — символическое заявление, показывающее, как алгоритмическая власть теперь преподносится в политическом дискурсе.
• Регулирование: Закон ЕС об искусственном интеллекте (Регламент (ЕС) 2024/1689) относит системы ИИ, используемые для оценки права на получение государственных пособий и услуг, к системам высокого риска, требуя управления рисками, человеческого надзора и документирования.

• Преувеличение новизны: бюрократические учреждения всегда использовали формы, балльные оценки и контрольные списки; критики утверждают, что алгократия — это усиление управления на основе правил, а не новый режим.
• Точность не означает нейтральность: обучающие данные отражают прошлые решения, поэтому системы могут воспроизводить дискриминацию, даже если защищённые признаки не используются в качестве входных данных.
• Автоматизационное смещение: люди, проверяющие решения, склонны полагаться на выводы машин, поэтому гарантии «человека в контуре» могут быть лишь формальными.
• Массовые ошибки: ошибочное правило, применяемое автоматически, приводит к массовым ошибкам прежде, чем кто-либо их заметит, как показал случай Robodebt.
• Возможность оспаривания: затронутые лица зачастую не могут ознакомиться с данными или логикой, использованными против них, что подрывает право на обжалование.
• Аргумент в пользу оптимизма: сторонники утверждают, что прозрачные алгоритмы, проходящие аудит, могут быть последовательнее и менее предвзятыми, чем должностные лица, принимающие решения по своему усмотрению, и что сравнивать их следует с несовершенными решениями людей, а не с идеалом.

Данные о системах администрирования пособий и налогов показывают, что алгократические системы могут причинять крупномасштабный вред, если сочетают непрозрачную логику, слабые правовые гарантии и презумпцию мошенничества. Суды и законодательные органы начали реагировать, вводя право на объяснение решения и человеческий пересмотр, оценку воздействия и регулирование на основе рисков. Возможность легитимизации алгократии зависит от политических, а не технических решений: что автоматизируется, кто может проводить аудит, как исправляются ошибки и кто несёт издержки неверных решений.

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Вирджиния Юбанкс, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)