Une expérience dans laquelle environ 1,000 Américains représentatifs ont utilisé la plateforme Polis pour rédiger des principes destinés à un chatbot d’IA. Anthropic a entraîné un modèle à partir de la constitution publique ainsi obtenue et l’a comparé à un modèle entraîné à partir de la sienne ; le modèle public était moins biaisé selon un test de référence standard et tout aussi performant.
L’IA constitutionnelle est une méthode élaborée par Anthropic pour entraîner de grands modèles de langage : au lieu de s’appuyer uniquement sur les évaluations humaines de réponses individuelles, le modèle reçoit une liste écrite de principes (une « constitution ») et s’en sert pour critiquer et réviser ses propres productions, ainsi que pour générer des jugements de préférence en vue d’un entraînement complémentaire. Cette méthode rend plus lisibles les valeurs sur lesquelles un modèle est entraîné, mais elle met aussi en lumière les personnes qui les définissent. Pour reprendre les mots d’Anthropic, « nous avons écrit nous-mêmes la constitution ».
En 2023, Anthropic et le Collective Intelligence Project (CIP) ont mené une expérience, dans le cadre du programme Alignment Assemblies du CIP, afin que des membres du public rédigent une telle constitution. Les résultats ont été publiés le 17 octobre 2023, puis sous la forme d’un article évalué par les pairs lors de la conférence ACM 2024 sur l’équité, la responsabilité et la transparence (FAccT).
Environ 1 000 adultes aux États-Unis, recrutés par l’institut de sondage PureSpectrum afin de constituer un échantillon représentatif en matière d’âge, de genre, de revenus et de répartition géographique, ont participé par l’intermédiaire de Polis, une plateforme en ligne où les participants soumettent de courtes déclarations et votent pour approuver, désapprouver ou passer les déclarations rédigées par d’autres. La question leur demandait de contribuer au choix des règles d’un chatbot d’IA. Les participants ont soumis 1 127 déclarations et exprimé 38 252 votes, soit une moyenne de 34 par personne. Polis a identifié deux principaux groupes d’opinion.
Les chercheurs ont ensuite transformé les contributions du public en une constitution. Ils ont écarté les déclarations qui n’atteignaient pas un seuil de consensus entre les groupes, supprimé les doublons et regroupé les déclarations similaires, puis converti les 275 déclarations restantes en principes dans le format utilisé pour l’entraînement, comparable aux 58 principes de la propre constitution d’Anthropic. Environ la moitié des concepts se recoupaient. Les principes du public accordaient davantage de poids à l’objectivité, à l’impartialité et à l’accessibilité, et tendaient à encourager les comportements souhaités plutôt qu’à interdire les comportements indésirables.
Le projet a été financé par les deux organisations ; les participants ont été rémunérés par l’institut de recrutement. Les biens publics produits sont la méthodologie, la constitution publique publiée et les résultats de l’évaluation, que d’autres groupes peuvent réutiliser.
Les chercheurs ont eux-mêmes souligné les limites de l’expérience. L’échantillon était restreint et ne représentait pas la population mondiale. Les chercheurs ont dû prendre de nombreuses décisions subjectives lors de la modération, de la suppression des doublons et de la conversion des déclarations en principes d’entraînement ; la constitution finale a donc été coécrite par les organisateurs. Les deux modèles ont été entraînés sur la même base de données de requêtes, même si la constitution publique comprenait des principes que ces requêtes ne permettaient peut-être pas de mettre à l’épreuve. L’entraînement s’est révélé plus difficile que prévu ; les premières versions ont été jugées « agaçantes », en raison d’un déséquilibre entre les données relatives à l’innocuité et celles relatives à l’utilité. Les critiques de l’IA participative ajoutent qu’un sondage ponctuel ne peut garantir une responsabilité continue, et que l’entreprise reste libre de décider si elle utilise ou non les résultats.
Anthropic a entraîné deux modèles de la taille de Claude Instant : un modèle « Public », fondé sur la constitution publique, et un modèle « Standard », fondé sur celle d’Anthropic. Ils ont obtenu des résultats équivalents aux tests de référence classiques en compréhension du langage et en mathématiques, ainsi que pour les évaluations de l’utilité et de l’innocuité. Le modèle Public présentait moins de biais que le modèle Standard sur neuf dimensions sociales du test de référence BBQ, notamment en ce qui concerne le handicap et l’apparence physique ; les deux modèles présentaient des orientations politiques similaires. Ces modèles étaient des objets de recherche ; l’article n’indique pas que le modèle Public ait été déployé. L’expérience est souvent citée comme l’un des premiers cas où un public représentatif a directement contribué à définir les règles d’entraînement d’un grand modèle de langage.
1,127 déclarations et 38,252 votes ont produit une constitution publique dont les principes recoupaient ceux d’Anthropic à environ 50 %. Un modèle entraîné à partir de celle-ci a obtenu des résultats équivalents au modèle standard aux tests de capacités, d’utilité et d’innocuité, et a présenté un biais plus faible sur neuf dimensions du BBQ. Publié en octobre 2023 et présenté à FAccT 2024.
Un projet pilote de recherche ponctuel plutôt qu’une institution permanente. Les organisateurs ont dû exercer leur jugement à de nombreuses reprises pour transformer les déclarations en principes d’entraînement ; l’échantillon était restreint et limité aux États-Unis, et aucun mécanisme n’obligeait le développeur à adopter les résultats. Le projet a pris fin comme prévu après la publication.
Environ 1,000 adultes américains recrutés par PureSpectrum ont soumis 1,127 déclarations et exprimé 38,252 votes sur Polis ; après modération, 275 déclarations ont été conservées, présentant un chevauchement conceptuel d’environ 50 % avec les 58 principes de la constitution d’Anthropic.[1]
Le modèle entraîné sur la constitution publique a obtenu des résultats équivalents à ceux du modèle standard sur MMLU, GSM8K et les évaluations d’utilité et d’innocuité, et a présenté un biais plus faible dans neuf dimensions sociales du benchmark BBQ.[1][2]
Les organisateurs reconnaissent que de nombreux jugements subjectifs portés lors de la modération et de la traduction des déclarations publiques en principes d’entraînement ont façonné la constitution publique définitive.[1]