Эксперимент, в котором около 1000 репрезентативно отобранных американцев на платформе Polis составили принципы для чат-бота с ИИ. Anthropic обучила модель на получившейся общественной конституции и сравнила её с моделью, обученной на собственной конституции компании; общественная модель оказалась менее предвзятой по стандартному тесту и столь же способной.
Конституционный ИИ — это разработанный Anthropic метод обучения больших языковых моделей: вместо того чтобы полагаться только на оценки людей, выставляемые отдельным ответам, модели предоставляют письменный перечень принципов («конституцию»), с помощью которого она критикует и пересматривает собственные результаты, а также формирует оценки предпочтений для дальнейшего обучения. Этот метод делает более прозрачными ценности, на которых обучается модель, но также ставит вопрос о том, кто их формулирует. По словам Anthropic, «мы написали конституцию сами».
В 2023 году Anthropic и Collective Intelligence Project (CIP) в рамках программы Alignment Assemblies организации CIP провели эксперимент, в ходе которого представители общественности составили такую конституцию. Результаты опубликовали 17 октября 2023 года, а в виде рецензируемой научной статьи — на конференции ACM 2024 года по вопросам справедливости, подотчётности и прозрачности (FAccT).
Около 1 000 взрослых жителей США, набранных исследовательской компанией PureSpectrum для обеспечения репрезентативности по возрасту, полу, доходу и географии, участвовали через Polis — онлайн-платформу, где участники отправляют краткие утверждения и голосуют «согласен», «не согласен» или «пропустить» по утверждениям, написанным другими. В задании участникам предлагалось помочь выбрать правила для чат-бота с ИИ. Участники отправили 1 127 утверждений и подали 38 252 голоса — в среднем по 34 голоса на человека. Polis выявила две основные группы мнений.
Затем исследователи преобразовали общественные предложения в конституцию. Они исключили утверждения, не достигавшие порога консенсуса между группами, удалили дубликаты и объединили сходные утверждения, а оставшиеся 275 утверждений свели к принципам в формате, используемом для обучения, сопоставимом с 58 принципами собственной конституции Anthropic. Около половины понятий совпадали. В публичных принципах больший акцент делался на объективности, беспристрастности и доступности; они, как правило, поощряли желательное поведение, а не запрещали нежелательное.
Проект финансировали две организации; участникам выплачивала вознаграждение компания, занимавшаяся набором. К общественным благам относятся методология, опубликованная публичная конституция и результаты оценки, которые могут использовать другие группы.
Исследователи сами подчёркивали ограничения проекта. Выборка была небольшой и не являлась глобально репрезентативной. При модерации, удалении дубликатов и преобразовании утверждений в принципы обучения исследователи приняли множество субъективных решений, поэтому итоговая конституция была написана совместно с организаторами. Обе модели обучались на одной и той же базе запросов, хотя публичная конституция содержала принципы, которые могли не задействоваться этими запросами. Обучение оказалось сложнее, чем ожидалось: ранние версии считались «раздражающими» из-за несбалансированности данных о безвредности и полезности. Критики партисипативного ИИ добавляют, что разовый опрос не обеспечивает постоянной подотчётности, а решение о том, использовать ли результаты, в любом случае остаётся за компанией.
Anthropic обучила две модели размером с Claude Instant: модель «Публичная» — на публичной конституции, а модель «Стандартная» — на собственной конституции Anthropic. По стандартным тестам на понимание языка и математику, а также по оценкам полезности и безвредности они показали сопоставимые результаты. На тесте BBQ модель «Публичная» продемонстрировала меньшую предвзятость, чем модель «Стандартная», по девяти социальным измерениям; особенно заметно это проявилось в отношении инвалидности и физической внешности. При этом политические склонности обеих моделей были сходными. Модели были исследовательскими артефактами; в публикации не сообщается, что модель «Публичная» была внедрена. Этот эксперимент широко цитируется как один из первых случаев, когда репрезентативная группа представителей общественности напрямую повлияла на правила обучения большой языковой модели.
1 127 высказываний и 38 252 голоса позволили сформировать общественную конституцию принципов, примерно на 50% совпадающих с принципами Anthropic. Обученная на ней модель показала результаты на тестах возможностей, полезности и безопасности на уровне стандартной модели и продемонстрировала меньшую предвзятость по девяти измерениям BBQ. Результаты опубликованы в октябре 2023 года и представлены на FAccT 2024.
Разовый исследовательский пилотный проект, а не постоянно действующий институт. При преобразовании высказываний в принципы обучения организаторы принимали множество субъективных решений; выборка была небольшой и включала только жителей США, а механизма, обязывающего разработчика принять результаты, не существовало. Проект завершился по плану после публикации результатов.
Около 1,000 взрослых жителей США, набранных PureSpectrum, представили 1,127 заявлений и отдали 38,252 голоса на платформе Polis; после модерации осталось 275 заявлений, чьи концепции примерно на 50% пересекались с конституцией Anthropic, состоящей из 58 принципов.[1]
Модель, обученная на публичной конституции, показала результаты, сопоставимые со стандартной моделью, по тестам MMLU и GSM8K, а также по оценкам полезности и безвредности; кроме того, она продемонстрировала меньшую предвзятость по девяти социальным измерениям теста BBQ.[1][2]
Организаторы признают, что многочисленные субъективные решения при модерации публичных заявлений и их переводе в учебные принципы повлияли на содержание итоговой публичной конституции.[1]