Как «обратная теория игр» может держать ИИ-агентов под контролом

Новый подход, известный как «обратная теория игр», призван создать стимулы для мощных ИИ-моделей, благодаря которым соблюдение правил станет наиболее рациональным выбором.

По мере того как ИИ-модели становятся всё более способными, исследователи в области безопасности спешат добиться того, чтобы они были «согласованы» с человеческими желаниями — иными словами, чтобы агенты-отступники не нарушали закон, не взламывали неавторизованные серверы и не распыляли ядовитый газ в крупных городах, убивая всех нас.

До сих пор эта работа в основном была сосредоточена на попытках заглянуть в «мозг» ИИ, чтобы понять, о чём он «думает», или на обучении моделей следовать ценностям, которыми мы дорожим. У Claude, например, есть своя конституция — своего рода моральный кодекс.

Проблема в том, что эти методы, похоже, работают не слишком хорошо: было показано, что модели намеренно показывают низкие результаты на тестах, скрывают свои намерения и вводят в заблуждение проверяющих. 

Теперь некоторые исследователи в области согласования считают, что обратная теория игр, также известная как проектирование механизмов, может дать лучшие результаты. Если теория игр пытается предсказать, как будут вести себя рациональные участники при заданном наборе правил, то обратная теория игр стремится разработать правила, которые будут побуждать к желательному поведению.

Примером проектирования механизмов в реальном мире может служить классическая стратегия разделения куска торта на две части: один человек режет торт, а другой первым выбирает кусок. Это побуждает того, кто режет, сделать куски как можно более равными. К другим примерам относятся динамическое ценообразование в приложениях для заказа поездок, которое побуждает водителей быть доступными в часы пик, и аукционы второй цены, на которых победитель платит цену второй по величине ставки, а не самой высокой. Платформы используют такие аукционы для продажи интернет-рекламы, поскольку они побуждают покупателей делать ставки, близкие к максимальной сумме, которую они готовы заплатить.

В ИИ проектирование механизмов исходит из предпосылки, что мы, возможно, никогда не сможем достаточно хорошо понять внутреннее устройство передовых моделей, чтобы убедиться в их согласованности. Это означает, что нам следует разрабатывать механизмы, стимулирующие агентов вести себя желательным для нас образом, независимо от того, что на самом деле происходит у них «под капотом». 

В недавней препринтной статье Стивен Моррис, экономист из Массачусетского технологического института, вместе с коллегами из Йеля и Колумбийского университета предложил несколько потенциальных механизмов, которые могли бы помешать агентам «занижать свои способности» на тестах (притворяться хуже, чем они есть на самом деле, — например, чтобы не запускать механизмы безопасности). 

Вместо того чтобы получать вознаграждение только за результат теста, модель могла бы получать его за то, насколько хорошо её ответы предсказывают ответ второй модели. Намеренно прикидываться глупее — проигрышная ставка. «ИИ-агенты очень хорошо понимают, на что способны другие ИИ-агенты, — говорит Моррис. — Поэтому это действительно может быть контекстом, в котором такая перекрёстная проверка будет работать более эффективно. 

В статье также предлагается сталкивать агентов друг с другом, создавая конкурентную динамику, которая побуждает их работать наилучшим образом, или объединять агентов, о которых известно, что они предвзяты в противоположных направлениях, и вознаграждать их в зависимости от того, насколько близки их результаты, тем самым стимулируя их прийти к оптимальному ответу. 

Второй подход, предложенный Эладом Хазаном, профессором информатики из Принстонского университета, заключается в разработке механизмов, вдохновлённых тем, как человеческое общество поддерживает «согласованность» людей: социальными нормами, системой правосудия, денежными стимулами свободного рыночного капитализма. «Мы хотим согласовать сверхразумный ИИ, — говорит он. — Почему бы сначала не поговорить о людях? Как мы согласовываем людей?»

Предложенный Хазаном механизм предполагает, что ИИ-модели по очереди выступают либо в роли «решающих», которые занимаются решением задач, либо в роли «аудиторов», которые проверяют работу остальных. «Один агент действует как правоохранитель, другой агент — как гражданин», — говорит он. 

Во время обучения модели получают вознаграждение в зависимости от результатов: решающие, которых поймали на мошенничестве, наказываются, но наказываются и аудиторы, не сумевшие поймать мошенников. В ситуациях, когда аудиторы и решающие расходятся во мнениях, дело можно передать на «суд» — возможно, человеческий эксперт решит, кто прав. 

Хазан признаёт, что существует риск сговора агентов друг с другом — подобно тому как аудиторы вступали в сговор с компаниями, которые должны были проверять, или коррумпированные полицейские сговаривались с преступниками. Но эту проблему можно решить, достаточно хорошо вознаграждая аудиторов, чтобы риск разоблачения не стоил того (что гораздо проще сделать в мире обучения ИИ, чем в реальном мире, где денег на зарплаты полицейским не хватает), а также проверяя аудиторов с помощью методов, подобных привлечению тайных покупателей. 

Хазан ссылается на удостоенную Нобелевской премии работу экономиста Гэри Беккера, который в 1960-х годах ввёл понятие «рационального правонарушителя». Преступники нарушают закон не потому, что по природе являются плохими людьми, утверждал он. Вместо этого они делают это, когда такой выбор наиболее рационален с учётом имеющихся стимулов. Совершать преступление имеет смысл лишь тогда, когда выгода превышает возможное наказание. 

По его словам, согласованность не следует рассматривать как свойство модели — это характеристика её поведения в конкретный момент. «Вы, например, хороший человек, — говорит он. — Согласованы ли вы? Не знаю. Наверное, в большинстве случаев да, но может возникнуть ситуация, в которой это будет не так».

Одна из потенциальных проблем применения проектирования механизмов к ИИ заключается в том, что этот подход опирается на предположение о рациональном поведении ИИ-агентов. С людьми проектирование механизмов показало неоднозначные результаты: люди часто ведут себя не так, как предсказывают экономические модели. 

В этом есть ирония: экономисты десятилетиями пытались свести человеческое поведение к математике, а теперь в больших языковых моделях мы создали математические системы, работающие на человеческом языке и способные быть столь же непостижимыми. ИИ-модели демонстрируют поведение, которое кажется скорее человеческим, чем машинным, и на них могут влиять тонкие факторы, которые трудно понять и объяснить. «Разумно ли вообще предполагать, что они будут реагировать на стимулы?» — спрашивает Хелен Ку, научный сотрудник Института Флэтайрон, некоммерческой организации, занимающейся развитием научных открытий с помощью вычислительных методов, которая писала о проектировании механизмов и безопасности ИИ. 

«Очевидно, ИИ нерациональны, — говорит Моррис. — Это всего лишь работающие алгоритмы». Однако, как выяснили экономисты на примере людей, отношение к ним как к рациональным существам всё же может быть полезным, если это помогает предсказывать и контролировать их поведение.

Ку рассматривает проектирование механизмов лишь как один из уровней многоуровневой стратегии поддержания согласованности ИИ-моделей — наряду с интерпретируемостью, регулированием и обучением, а не вместо них. Но прежде чем этот подход можно будет внедрить в реальные передовые модели, предстоит ответить на множество вопросов. Например, неясно, как эти теории будут применяться к реальным моделям и смогут ли механизмы, разработанные для одной задачи, на практике использоваться для другой. Модели могут найти лазейки, которых никто не предвидел. (Anthropic и OpenAI не ответили на запросы о том, работают ли они в этом направлении.) 

Как бы ни выглядели эти механизмы, в конечном счёте им придётся встроиться в самый масштабный механизм из всех — свободный рынок. «Мы играем по экономическим правилам», — говорит Хазан. Более согласованная модель может быть полезна для мира, но если она медленнее или дороже менее согласованной, действительно ли нынешняя система правил и регулирования стимулирует хоть одну из лабораторий, разрабатывающих передовые модели, выпустить её? 

«Это механизм, ответственный за значительную часть процветания человечества, — говорит он о рынке, — но в конечном счёте он может оказаться ответственным за нечто ужасное». Возможно, именно лабораториям самим больше всего нужен усовершенствованный механизм проектирования.