Uma experiência em que cerca de 1.000 americanos representativos usaram a plataforma Polis para redigir princípios para um chatbot de IA. A Anthropic treinou um modelo com base na constituição pública resultante e comparou-o com outro treinado com base na sua própria constituição; o modelo público apresentou menos enviesamento num benchmark padrão e foi igualmente capaz.
A IA Constitucional é um método desenvolvido pela Anthropic para treinar grandes modelos de linguagem: em vez de depender apenas de avaliações humanas de respostas individuais, o modelo recebe uma lista escrita de princípios (uma «constituição») e usa-a para criticar e rever as próprias respostas e gerar avaliações de preferência para treinamento adicional. O método torna mais explícitos os valores com base nos quais um modelo é treinado, mas também destaca quem os escreve. Nas palavras da Anthropic, «nós mesmos escrevemos a constituição».
Em 2023, a Anthropic e o Collective Intelligence Project (CIP), como parte do programa Alignment Assemblies do CIP, realizaram uma experiência para que membros do público escrevessem uma constituição desse tipo. Os resultados foram publicados em 17 de outubro de 2023 e, como artigo revisto por pares, na conferência ACM de 2024 sobre equidade, responsabilidade e transparência (FAccT).
Cerca de 1.000 adultos nos Estados Unidos, recrutados pela empresa de pesquisas PureSpectrum para serem representativos em termos de idade, género, rendimento e localização geográfica, participaram através da Polis, uma plataforma em linha na qual os participantes submetem declarações curtas e votam «concordo», «discordo» ou «passo» nas declarações escritas por outras pessoas. A pergunta pedia-lhes que ajudassem a escolher regras para um chatbot de IA. Os participantes submeteram 1.127 declarações e emitiram 38.252 votos, uma média de 34 por pessoa. A Polis identificou dois grupos principais de opinião.
Os investigadores transformaram depois as contribuições do público numa constituição. Removeram as declarações abaixo de um limiar de consenso entre os grupos, eliminaram duplicações e combinaram declarações semelhantes, e mapearam as 275 declarações restantes em princípios no formato usado para treinamento, comparável aos 58 princípios da própria constituição da Anthropic. Cerca de metade dos conceitos coincidia. Os princípios do público atribuíam mais peso à objetividade, à imparcialidade e à acessibilidade, e tendiam a incentivar comportamentos desejáveis em vez de proibir comportamentos indesejáveis.
O projeto foi financiado pelas duas organizações; os participantes foram remunerados pela empresa de recrutamento. Os bens públicos são a metodologia, a constituição pública publicada e os resultados da avaliação, que outros grupos podem reutilizar.
Os próprios investigadores salientaram as limitações. A amostra era pequena e não representativa a nível mundial. Os investigadores tiveram de tomar muitas decisões subjetivas ao moderar, eliminar duplicações e converter declarações em princípios de treinamento; por isso, a constituição final foi coescrita pelos organizadores. Ambos os modelos foram treinados com a mesma base de dados de comandos, embora a constituição pública contivesse princípios que esses comandos talvez não pusessem à prova. O treinamento revelou-se mais difícil do que o previsto; as primeiras versões foram consideradas «irritantes» devido a um desequilíbrio entre os dados sobre inocuidade e os dados sobre utilidade. Os críticos da IA participativa acrescentam que um inquérito pontual não pode proporcionar responsabilização contínua e que a empresa mantém a decisão de usar ou não os resultados.
A Anthropic treinou dois modelos do tamanho do Claude Instant: um modelo «Público», com base na constituição pública, e um modelo «Padrão», com base na constituição da própria Anthropic. Os modelos tiveram resultados equivalentes em testes de referência padrão de compreensão da linguagem e matemática, bem como nas avaliações de utilidade e inocuidade. O modelo Público apresentou menos enviesamento do que o modelo Padrão em nove dimensões sociais no teste de referência BBQ, sobretudo no que diz respeito à situação de deficiência e à aparência física; ambos os modelos apresentaram tendências políticas semelhantes. Os modelos foram artefactos de investigação; a publicação não informa que o modelo Público tenha sido implementado. A experiência é amplamente citada como um dos primeiros casos em que o público representativo moldou diretamente as regras de treinamento de um grande modelo de linguagem.
1.127 declarações e 38.252 votos produziram uma constituição pública de princípios com cerca de 50% de sobreposição com a da Anthropic. Um modelo treinado com base nela igualou o modelo padrão em testes de capacidade, utilidade e inocuidade, e apresentou menor viés em nove dimensões do BBQ. Publicado em outubro de 2023 e na FAccT 2024.
Um projeto-piloto de pesquisa pontual, não uma instituição permanente. Os organizadores tiveram de fazer muitas escolhas de julgamento ao transformar declarações em princípios de treinamento; a amostra limitou-se aos EUA e era pequena, e não havia mecanismo que obrigasse o desenvolvedor a adotar os resultados. O projeto foi encerrado conforme planejado após a publicação.
Cerca de 1,000 adultos dos EUA recrutados pela PureSpectrum apresentaram 1,127 declarações e votaram 38,252 vezes no Polis; após a moderação, restaram 275 declarações, cujos conceitos se sobrepunham em cerca de 50% aos da constituição de 58 princípios da Anthropic.[1]
O modelo treinado com base na constituição pública teve desempenho equivalente ao do modelo padrão no MMLU, no GSM8K e nas avaliações de utilidade e inocuidade, e apresentou menor viés em nove dimensões sociais do benchmark BBQ.[1][2]
Os organizadores reconhecem que muitas decisões subjetivas tomadas ao moderar e traduzir declarações públicas em princípios de treinamento influenciaram a constituição pública final.[1]