Правило о реестре и приостановке систем ИИ

Реестр систем ИИ и правило приостановки

Цель

Участники должны иметь возможность знать, какие автоматизированные системы участвуют в принятии затрагивающих их публичных решений, кто отвечает за каждую систему и как остановить систему, работающую неправильно. Настоящее правило учреждает публичный реестр и процедуру приостановки. Оно дополняет, но не заменяет предварительную оценку воздействия и право на индивидуальное обжалование.

Определения

• Автоматизированная система: программное обеспечение, которое с помощью статистических моделей, машинного обучения или правил формирует результаты (оценки, классификации, рекомендации, проекты документов или решения), используемые при принятии органом политического сообщества решения в отношении человека, группы или распределения публичных ресурсов.
• Ответственный орган: орган, принимающий решение об использовании системы и несущий ответственность за её использование.
• Уровень роли: консультативный (результаты используются при принятии решения человеком), административный (система выносит рутинные решения в рамках установленных правил) или автономный (система выносит обязательные решения без одобрения человека по каждому отдельному случаю).

Статья 1. Реестр

1. Автоматизированная система может использоваться при принятии решения, подпадающего под действие настоящего правила, только если она внесена в публичный реестр до начала использования.
2. Каждая запись указывает: название и назначение системы; ответственный орган и контактное лицо, указанное по имени; уровень роли; решения, на которые она влияет, и примерное число затрагиваемых людей в год; поставщика и тип модели; категории используемых данных; предусмотренный человеческий надзор; порядок запроса проверки человеком; дату последней оценки.
3. Записи обновляются в течение 30 дней после любого существенного изменения. Выведенные из эксплуатации системы остаются в реестре в течение пяти лет с пометкой о выводе из эксплуатации.

Статья 2. Приостановка

1. Ответственный орган обязан приостановить использование системы и перейти к документированной ручной процедуре, если у него есть разумные основания полагать, что система выдаёт систематически ошибочные или дискриминационные результаты.
2. Для каждой зарегистрированной системы должна быть предусмотрена документированная ручная процедура на случай отказа, испытанная в течение предыдущих 12 месяцев.
3. Сведения о приостановках и их причинах заносятся в реестр.

Статья 3. Независимые полномочия по приостановке

1. Надзорный совет, независимый от каждого ответственного органа, вправе распорядиться о приостановке любой зарегистрированной системы по собственной инициативе, по обращению омбудсмена или по петиции, поданной 1% участников.
2. Приостановка обязательна, если выявлено любое из следующего: доля ошибок в контролируемой выборке превышает порог, указанный в записи реестра; результаты для защищаемых групп различаются сверх предела допустимого отклонения, указанного в записи, без обоснования, принятого советом; система используется не по зарегистрированному назначению; либо ответственный орган не может предоставить журналы решений.
3. Приостановленная система может возобновить работу только после того, как совет убедится, что причина устранена. Его решение публикуется с обоснованием.

Статья 4. Пересмотр ранее принятых решений

1. Когда система приостанавливается из-за систематических ошибок, ответственный орган выявляет все решения, на которые могла повлиять система с момента возникновения ошибки, и пересматривает их, начиная с решений, повлёкших возникновение долга, наложение взыскания или утрату пособия.
2. Взыскание денежных средств на основании затронутых решений прекращается до завершения пересмотра.
3. Людям, чьи решения изменены, направляется письменное уведомление, а компенсация выплачивается в соответствии с бюджетным правилом.

Статья 5. Автономные системы

1. Система с автономным уровнем роли может быть зарегистрирована только после одобрения ассамблеей на основании опубликованной оценки воздействия и независимого аудита.
2. Разрешение утрачивает силу через два года, если оно не продлено в соответствии с той же процедурой.
3. Каждое вынесенное ею решение сопровождается уведомлением о том, что оно принято автоматически, и информацией о том, как в течение 30 дней запросить проверку человеком.
4. Автономная система не может принимать решения о лишении свободы, исключении из числа участников, изъятии детей или отказе в предоставлении средств к существованию, необходимых для удовлетворения основных потребностей.