Ein Experiment, bei dem etwa 1.000 repräsentative Amerikanerinnen und Amerikaner die Plattform Polis nutzten, um Grundsätze für einen KI-Chatbot zu entwerfen. Anthropic trainierte ein Modell anhand der daraus hervorgegangenen öffentlichen Verfassung und verglich es mit einem Modell, das auf Grundlage der eigenen Verfassung trainiert worden war; das öffentliche Modell war bei einem standardisierten Benchmark weniger voreingenommen und ebenso leistungsfähig.
Constitutional AI ist eine von Anthropic entwickelte Methode zum Training großer Sprachmodelle: Statt sich ausschließlich auf menschliche Bewertungen einzelner Antworten zu stützen, erhält das Modell eine schriftliche Liste von Prinzipien (eine „Verfassung“) und nutzt sie, um seine eigenen Ausgaben zu kritisieren und zu überarbeiten sowie Präferenzurteile für das weitere Training zu generieren. Die Methode macht die Werte, auf die ein Modell trainiert wird, nachvollziehbarer, hebt aber auch hervor, wer sie festlegt. In den Worten von Anthropic: „Wir haben die Verfassung selbst verfasst.“
2023 führten Anthropic und das Collective Intelligence Project (CIP) im Rahmen des Programms Alignment Assemblies von CIP ein Experiment durch, bei dem Mitglieder der Öffentlichkeit eine solche Verfassung verfassten. Die Ergebnisse wurden am 17. Oktober 2023 und als begutachteter wissenschaftlicher Beitrag auf der ACM-Konferenz 2024 zu Fairness, Rechenschaftspflicht und Transparenz (FAccT) veröffentlicht.
Etwa 1,000 Erwachsene in den Vereinigten Staaten, die vom Umfrageunternehmen PureSpectrum so rekrutiert wurden, dass sie hinsichtlich Alter, Geschlecht, Einkommen und geografischer Verteilung repräsentativ waren, nahmen über Polis teil. Polis ist eine Onlineplattform, auf der Teilnehmende kurze Aussagen einreichen und über Aussagen anderer mit „Zustimmen“, „Ablehnen“ oder „Enthalten“ abstimmen. Die Aufforderung bat sie, bei der Auswahl von Regeln für einen KI-Chatbot mitzuwirken. Die Teilnehmenden reichten 1,127 Aussagen ein und gaben 38,252 Stimmen ab, durchschnittlich 34 pro Person. Polis identifizierte zwei Hauptgruppen mit unterschiedlichen Ansichten.
Die Forschenden überführten die Beiträge der Öffentlichkeit anschließend in eine Verfassung. Sie entfernten Aussagen, die gruppenübergreifend einen Konsensschwellenwert unterschritten, beseitigten Duplikate und fassten ähnliche Aussagen zusammen und übertrugen die verbleibenden 275 Aussagen in Prinzipien im für das Training verwendeten Format, vergleichbar mit den 58 Prinzipien in Anthropics eigener Verfassung. Etwa die Hälfte der Konzepte überschnitt sich. Die Prinzipien der Öffentlichkeit legten mehr Gewicht auf Objektivität, Unparteilichkeit und Barrierefreiheit und zielten eher darauf ab, erwünschtes Verhalten zu fördern, als unerwünschtes Verhalten zu verbieten.
Das Projekt wurde von den beiden Organisationen finanziert; die Teilnehmenden wurden vom rekrutierenden Unternehmen bezahlt. Zu den öffentlichen Gütern zählen die Methodik, die veröffentlichte Verfassung der Öffentlichkeit und die Evaluationsergebnisse, die andere Gruppen wiederverwenden können.
Die Forschenden betonten selbst die Grenzen des Projekts. Die Stichprobe war klein und nicht global repräsentativ. Bei der Moderation, dem Entfernen von Duplikaten und der Übertragung von Aussagen in Trainingsprinzipien trafen die Forschenden zahlreiche subjektive Ermessensentscheidungen, sodass die endgültige Verfassung von den Organisatoren mitverfasst wurde. Beide Modelle wurden mit derselben Prompt-Datenbank trainiert, obwohl die Verfassung der Öffentlichkeit Prinzipien enthielt, die durch diese Prompts möglicherweise nicht geprüft wurden. Das Training erwies sich als schwieriger als erwartet; frühe Versionen wurden als „nervig“ beurteilt, weil die Daten zu Harmlosigkeit und Hilfsbereitschaft unausgewogen waren. Kritiker partizipativer KI wenden zudem ein, dass eine einmalige Umfrage keine fortlaufende Rechenschaftspflicht gewährleisten kann und dass das Unternehmen selbst entscheidet, ob es irgendwelche Ergebnisse nutzt.
Anthropic trainierte zwei Modelle in der Größe von Claude Instant: ein „Public“-Modell mit der Verfassung der Öffentlichkeit und ein „Standard“-Modell mit Anthropics eigener Verfassung. Bei gängigen Benchmarks zum Sprachverständnis und zur Mathematik sowie bei Bewertungen von Hilfsbereitschaft und Harmlosigkeit schnitten sie gleichwertig ab. Beim BBQ-Benchmark zeigte das Public-Modell über neun soziale Dimensionen hinweg eine geringere Verzerrung als das Standard-Modell, am deutlichsten hinsichtlich des Behinderungsstatus und des körperlichen Erscheinungsbilds; beide Modelle wiesen ähnliche politische Neigungen auf. Die Modelle waren Forschungsartefakte; der Beitrag berichtet nicht, dass das Public-Modell eingesetzt wurde. Das Experiment wird häufig als einer der ersten Fälle angeführt, in denen eine repräsentative Öffentlichkeit die Trainingsregeln eines großen Sprachmodells unmittelbar mitgestaltete.
1.127 Stellungnahmen und 38.252 Abstimmungen ergaben eine öffentliche Verfassung, deren Grundsätze sich zu etwa 50 % mit denen von Anthropic überschnitten. Ein damit trainiertes Modell entsprach dem Standardmodell bei Tests zu Leistungsfähigkeit, Hilfsbereitschaft und Harmlosigkeit und zeigte bei neun BBQ-Dimensionen geringere Verzerrungen. Veröffentlicht im Oktober 2023 und auf der FAccT 2024.
Ein einmaliges Forschungspilotprojekt und keine dauerhafte Institution. Die Organisatoren mussten bei der Überführung der Stellungnahmen in Trainingsgrundsätze zahlreiche Ermessensentscheidungen treffen; die Stichprobe war ausschließlich aus den USA und klein, und es gab keinen Mechanismus, der den Entwickler zur Übernahme der Ergebnisse verpflichtete. Das Projekt endete nach der Veröffentlichung wie geplant.
Etwa 1,000 von PureSpectrum rekrutierte Erwachsene aus den USA reichten 1,127 Stellungnahmen ein und gaben 38,252 Stimmen auf Polis ab; nach der Moderation blieben 275 Stellungnahmen übrig, deren Konzepte sich zu etwa 50% mit denen der 58 Grundsätze umfassenden Verfassung von Anthropic überschnitten.[1]
Das anhand der öffentlichen Verfassung trainierte Modell schnitt bei MMLU, GSM8K sowie den Bewertungen von Hilfsbereitschaft und Harmlosigkeit gleichwertig mit dem Standardmodell ab und wies über neun soziale Dimensionen des BBQ-Benchmarks hinweg geringere Verzerrungen auf.[1][2]
Die Organisatoren räumen ein, dass zahlreiche subjektive Ermessensentscheidungen bei der Moderation und der Übertragung öffentlicher Stellungnahmen in Trainingsgrundsätze die endgültige öffentliche Verfassung geprägt haben.[1]