Un experimento en el que alrededor de 1,000 estadounidenses representativos de la población utilizaron la plataforma Polis para redactar principios para un chatbot de IA. Anthropic entrenó un modelo con la constitución pública resultante y lo comparó con otro entrenado por cuenta propia; el modelo público mostró menos sesgo en una prueba de referencia estándar y tuvo la misma capacidad.
La IA constitucional es un método desarrollado por Anthropic para entrenar modelos de lenguaje grandes: en lugar de depender únicamente de las valoraciones humanas de respuestas individuales, se proporciona al modelo una lista escrita de principios (una «constitución») y se utiliza para que critique y revise sus propios resultados y genere juicios de preferencia para el entrenamiento posterior. El método hace más legibles los valores con los que se entrena un modelo, pero también pone de relieve quién los redacta. En palabras de Anthropic, «nosotros mismos escribimos la constitución».
En 2023, Anthropic y el Collective Intelligence Project (CIP), como parte del programa Alignment Assemblies del CIP, llevaron a cabo un experimento para que miembros del público redactaran una constitución de este tipo. Los resultados se publicaron el 17 de octubre de 2023 y, como artículo revisado por pares, en la conferencia ACM de 2024 sobre equidad, responsabilidad y transparencia (FAccT).
Alrededor de 1.000 personas adultas de Estados Unidos, reclutadas por la empresa de encuestas PureSpectrum para que la muestra fuera representativa por edad, género, ingresos y distribución geográfica, participaron a través de Polis, una plataforma en línea en la que las personas participantes presentan declaraciones breves y votan si están de acuerdo, en desacuerdo o pasan sobre declaraciones escritas por otras personas. La consigna les pidió que ayudaran a elegir reglas para un chatbot de IA. Las personas participantes presentaron 1.127 declaraciones y emitieron 38.252 votos, un promedio de 34 cada una. Polis identificó dos grupos principales de opinión.
A continuación, los investigadores convirtieron las aportaciones del público en una constitución. Eliminaron las declaraciones que no alcanzaban un umbral de consenso entre los grupos, eliminaron duplicados y combinaron declaraciones similares, y transformaron las 275 declaraciones restantes en principios con el formato utilizado para el entrenamiento, comparables con los 58 principios de la propia constitución de Anthropic. Aproximadamente la mitad de los conceptos coincidían. Los principios del público otorgaban más peso a la objetividad, la imparcialidad y la accesibilidad, y tendían a fomentar comportamientos deseables en lugar de prohibir los indeseables.
El proyecto fue financiado por las dos organizaciones; la empresa de reclutamiento pagó a las personas participantes. Los bienes públicos son la metodología, la constitución pública publicada y los resultados de la evaluación, que otros grupos pueden reutilizar.
Los propios investigadores destacaron las limitaciones. La muestra era pequeña y no representativa a escala mundial. Los investigadores tomaron muchas decisiones subjetivas al moderar, eliminar duplicados y traducir las declaraciones en principios de entrenamiento, por lo que la constitución final fue coescrita por quienes organizaron el proyecto. Ambos modelos se entrenaron con la misma base de datos de indicaciones, aunque la constitución pública contenía principios que quizá esas indicaciones no pusieran a prueba. El entrenamiento resultó más difícil de lo esperado; las primeras versiones se consideraron «molestas» debido a un desequilibrio entre los datos sobre inocuidad y los datos sobre utilidad. Quienes critican la IA participativa añaden que una encuesta puntual no puede proporcionar rendición de cuentas continua y que la empresa conserva la decisión de utilizar o no cualquiera de los resultados.
Anthropic entrenó dos modelos del tamaño de Claude Instant: un modelo «Público» basado en la constitución pública y un modelo «Estándar» basado en la propia de Anthropic. Ambos tuvieron un rendimiento equivalente en pruebas estándar de comprensión lingüística y matemáticas, así como en valoraciones de utilidad e inocuidad. El modelo Público mostró menos sesgo que el modelo Estándar en nueve dimensiones sociales en la prueba BBQ, con diferencias más claras en cuanto a la condición de discapacidad y el aspecto físico; ambos modelos mostraron inclinaciones políticas similares. Los modelos fueron artefactos de investigación; la publicación no indica que el modelo Público se desplegara. El experimento se cita ampliamente como uno de los primeros casos en que un público representativo influyó directamente en las reglas de entrenamiento de un modelo de lenguaje grande.
1,127 enunciados y 38,252 votos dieron lugar a una constitución pública cuyos principios coincidían en aproximadamente un 50% con los de Anthropic. Un modelo entrenado con ella igualó al modelo estándar en pruebas de capacidad, utilidad e inocuidad, y mostró menos sesgo en nueve dimensiones de BBQ. Publicado en octubre de 2023 y en FAccT 2024.
Un proyecto piloto de investigación único, no una institución permanente. Al convertir los enunciados en principios de entrenamiento, los organizadores tomaron numerosas decisiones de criterio; la muestra se limitó a Estados Unidos y fue pequeña, y no había ningún mecanismo que obligara al desarrollador a adoptar los resultados. Concluyó según lo previsto tras la publicación.
Unos 1,000 adultos estadounidenses reclutados por PureSpectrum presentaron 1,127 declaraciones y emitieron 38,252 votos en Polis; tras la moderación quedaron 275 declaraciones, cuyos conceptos coincidían en aproximadamente un 50% con los 58 principios de la constitución de Anthropic.[1]
El modelo entrenado con la constitución pública tuvo un rendimiento equivalente al del modelo estándar en MMLU, GSM8K y las calificaciones de utilidad e inocuidad, y mostró un sesgo menor en las nueve dimensiones sociales del benchmark BBQ.[1][2]
Los organizadores reconocen que numerosas decisiones subjetivas de moderación y traducción de las declaraciones públicas a principios de entrenamiento dieron forma a la constitución pública definitiva.[1]