Registre des systèmes d’IA et règle de suspension

Registre des systèmes d’IA et règle de suspension

Objet

Les membres doivent pouvoir savoir quels systèmes automatisés participent aux décisions publiques qui les concernent, qui est responsable de chaque système et comment arrêter un système qui fonctionne mal. Cette règle crée un registre public et une procédure de suspension. Elle complète, sans les remplacer, l’évaluation préalable des effets et les droits de recours individuels.

Définitions

• Système automatisé : logiciel qui, à l’aide de modèles statistiques, de l’apprentissage automatique ou de règles, produit des résultats (scores, classifications, recommandations, projets de texte ou décisions) utilisés dans une décision d’un organe de l’entité politique concernant une personne, un groupe ou l’allocation de ressources publiques.
• Organe responsable : organe qui décide d’utiliser le système et répond de son utilisation.
• Niveau de rôle : consultatif (les résultats éclairent une décision humaine), administratif (le système rend des décisions courantes dans le cadre de règles établies) ou autonome (le système rend des décisions contraignantes sans approbation humaine au cas par cas).

Article 1. Registre

1. Aucun système automatisé ne peut être utilisé dans une décision visée par cette règle s’il n’est pas inscrit au registre public avant son utilisation.
2. Chaque entrée indique : le nom et l’objet du système ; l’organe responsable et une personne-ressource nommément désignée ; le niveau de rôle ; les décisions concernées et le nombre approximatif de personnes concernées par an ; le fournisseur et le type de modèle ; les catégories de données utilisées ; le contrôle humain en place ; la marche à suivre pour demander un examen humain ; et la date de la dernière évaluation.
3. Les entrées sont mises à jour dans les 30 jours suivant tout changement important. Les systèmes retirés restent inscrits au registre, avec la mention « retiré », pendant cinq ans.

Article 2. Suspension

1. L’organe responsable doit suspendre l’utilisation d’un système et passer à la procédure manuelle documentée lorsqu’il a des motifs raisonnables de croire que le système produit des résultats systématiquement erronés ou discriminatoires.
2. Tout système inscrit doit disposer d’une procédure manuelle de remplacement documentée, qui a été testée au cours des 12 mois précédents.
3. Les suspensions et leurs motifs sont consignés au registre.

Article 3. Pouvoir indépendant de suspension

1. Le conseil de surveillance, qui est indépendant de chaque organe responsable, peut ordonner la suspension de tout système inscrit de sa propre initiative, à la suite d’un renvoi du médiateur ou sur pétition de 1 % des membres.
2. La suspension est obligatoire lorsque l’un des éléments suivants est constaté : le taux d’erreur dans un échantillon surveillé dépasse le seuil indiqué dans l’entrée du registre ; les résultats diffèrent entre groupes protégés au-delà de la tolérance indiquée dans l’entrée, sans justification acceptée par le conseil ; le système est utilisé à des fins autres que celles inscrites ; ou l’organe responsable ne peut produire les journaux des décisions.
3. Un système suspendu ne peut être remis en service que lorsque le conseil est convaincu que la cause a été corrigée. Sa décision est publiée avec ses motifs.

Article 4. Réexamen des décisions passées

1. Lorsqu’un système est suspendu en raison d’une erreur systématique, l’organe responsable recense toutes les décisions susceptibles d’avoir été affectées depuis le début de l’erreur et les réexamine, en commençant par celles qui ont entraîné une dette, une pénalité ou la perte d’une prestation.
2. Le recouvrement de sommes sur la base de décisions affectées est interrompu jusqu’à la fin du réexamen.
3. Les personnes dont les décisions sont modifiées en sont informées par écrit et sont indemnisées conformément à la règle budgétaire.

Article 5. Systèmes autonomes

1. Un système ayant le niveau de rôle autonome ne peut être inscrit qu’après approbation de l’assemblée, sur la base d’une évaluation des effets publiée et d’un audit indépendant.
2. Son autorisation expire après deux ans, sauf renouvellement selon la même procédure.
3. Chaque décision qu’il rend comporte un avis indiquant qu’elle a été prise automatiquement et précisant comment demander un réexamen par un humain dans les 30 jours.
4. Aucun système autonome ne peut décider d’une privation de liberté, de l’exclusion de la qualité de membre, du retrait d’enfants ou du refus de moyens essentiels de subsistance.