Як «зворотна теорія ігор» може тримати ШІ-агентів під контролем

Новий підхід, відомий як «зворотна теорія ігор», має на меті створити стимули для потужних моделей ШІ, за яких дотримання правил буде найраціональнішим вибором.

У міру того як моделі ШІ стають дедалі потужнішими, дослідники безпеки намагаються забезпечити їхню «узгодженість» із людськими прагненнями — іншими словами, гарантувати, що агенти-відступники не порушуватимуть закон, не зламують несанкціоновані сервери й не випускають отруйний газ у великих містах, убиваючи всіх нас.

Дотепер ця робота здебільшого зосереджувалася на спробах зазирнути в «мозок» ШІ, щоб зрозуміти, про що він «думає», або на навчанні моделей дотримуватися цінностей, які ми вважаємо важливими. Наприклад, Claude має свою конституцію — своєрідний моральний кодекс.

Проблема в тому, що ці методи, схоже, працюють не надто добре: було показано, що моделі навмисно демонструють гірші результати на тестах, приховують свої наміри та вводять в оману своїх оцінювачів. 

Тепер деякі дослідники узгодженості вважають, що кращих результатів може допомогти досягти зворотна теорія ігор, також відома як конструювання механізмів. Якщо теорія ігор намагається передбачити, як поводитимуться раціональні учасники за певного набору правил, то зворотна теорія ігор намагається розробити правила, які спонукатимуть до бажаної поведінки.

Прикладом конструювання механізмів у реальному світі може бути класична стратегія поділу шматка торта навпіл: одна людина ріже торт, а інша першою обирає шматок. Це стимулює того, хто ріже, зробити шматки якомога рівнішими. Серед інших прикладів — динамічне ціноутворення в сервісах замовлення поїздок, яке заохочує водіїв бути доступними в періоди високого попиту, і аукціони з другою ціною, де переможець платить ціну другої за розміром ставки, а не найвищої. Платформи використовують такі аукціони для продажу онлайн-реклами, оскільки вони спонукають покупців робити ставки, близькі до максимальної суми, яку вони готові заплатити.

У випадку ШІ конструювання механізмів виходить із припущення, що ми, можливо, ніколи не зможемо достатньо зрозуміти внутрішню роботу передових моделей, щоб переконатися в їхній узгодженості. Це означає, що нам слід розробляти механізми, які стимулюватимуть агентів поводитися бажаним чином, незалежно від того, що насправді відбувається «під капотом». 

У нещодавній препринт-статті Стівена Морріса, економіста з Массачусетського технологічного інституту, та його колег із Єльського університету й Колумбійського університету запропоновано кілька потенційних механізмів, які могли б завадити агентам «приховувати свої справжні можливості» під час тестів (удавати, що вони гірші, ніж є насправді, — наприклад, щоб не активувати механізми безпеки). 

Замість того щоб отримувати винагороду лише за результат тесту, модель могла б отримувати винагороду за те, наскільки добре її відповіді передбачають, що скаже друга модель. Навмисно вдавати дурну стає програшною ставкою. «Агенти ШІ дуже добре розуміють, на що здатні інші агенти ШІ, — каже Морріс. — Тож це справді виглядає як контекст, у якому така взаємна перевірка могла б працювати практичніше. 

У статті також пропонується зіштовхувати агентів між собою, створюючи конкурентну динаміку, яка стимулює їх показувати найкращі результати, або об’єднувати агентів, відомо упереджених у протилежних напрямках, і винагороджувати їх залежно від того, наскільки збігаються їхні результати, тим самим стимулюючи їх знаходити оптимальну відповідь. 

Другий підхід, запропонований Еладом Хазаном, професором інформатики Принстонського університету, полягає в розробленні механізмів, натхненних способами, за допомогою яких людське суспільство підтримує «узгодженість» людей: соціальними нормами, системою правосуддя, грошовими стимулами вільноринкового капіталізму. «Ми хочемо узгодити надрозумний ШІ, — каже він. — Чому б спочатку не поговорити про людей? Як ми узгоджуємо людей?»

Запропонований Хазаном механізм передбачає, що моделі ШІ по черзі виконують роль «розв’язувачів», які працюють над завданнями, або «аудиторів», які перевіряють роботу інших. «Один агент діє як правоохоронець, інший — як громадянин», — каже він. 

Під час навчання моделі отримують винагороду залежно від результатів: розв’язувачів, яких спіймали на шахрайстві, карають, але так само карають і аудиторів, які не змогли виявити шахраїв. У ситуаціях, коли між аудиторами та розв’язувачами виникають розбіжності, справу можна передати на «суд» — можливо, людський експерт вирішить, хто має рацію. 

Хазан визнає, що існує ризик змови агентів між собою — так само як аудитори вступали в змову з підприємствами, які мали перевіряти, або корумповані поліцейські — зі злочинцями. Але цю проблему можна розв’язати, достатньо добре винагороджуючи аудиторів, щоб ризик викриття не був вартий того (у світі навчання ШІ це набагато легше, ніж у реальному, де коштів на зарплати поліцейським бракує), а також перевіряючи аудиторів за допомогою методів, подібних до залучення таємних покупців. 

Хазан посилається на працю економіста Гарі Беккера, відзначену Нобелівською премією, який у 1960-х роках запровадив ідею «раціонального правопорушника». Злочинці порушують закон не тому, що від природи є поганими людьми, казав він. Натомість вони роблять це, коли це є найраціональнішим вибором з огляду на запропоновані стимули. Злочин має сенс лише тоді, коли прибуток перевищує можливе покарання. 

Він стверджує, що узгодженість не слід розглядати як властивість моделі, а як характеристику її поведінки в певний момент. «Ви, скажімо, хороша людина, — каже він. — Чи є ви узгодженими? Не знаю. Ймовірно, більшість часу ви поводитеся узгоджено, але може виникнути ситуація, коли це буде не так».

Одна з потенційних проблем застосування конструювання механізмів до ШІ полягає в тому, що воно спирається на припущення, ніби агенти ШІ поводяться раціонально. Конструювання механізмів має неоднозначні результати у випадку людей, які часто не поводяться так, як передбачають економічні моделі. 

Це іронічно: економісти десятиліттями намагалися звести людську поведінку до математики, а тепер у великих мовних моделях ми створили математичні системи, що працюють на людській мові й можуть бути так само незбагненними. Моделі ШІ демонструють поведінку, яка здається більш людською, ніж машинною, і на них можуть впливати тонкі чинники, які важко зрозуміти й пояснити. «Чи взагалі розумно припускати, що вони реагуватимуть на стимули?» — запитує Гелен Ку, наукова співробітниця Інституту Флетайрона, неприбуткової організації, що сприяє науковим відкриттям за допомогою обчислювальних методів, яка писала про конструювання механізмів і безпеку ШІ. 

«Очевидно, ШІ не є раціональним, — каже Морріс. — Це просто алгоритми в дії». Однак, як з’ясували економісти на прикладі людей, ставлення до них як до раціональних істот усе одно може бути корисним, якщо це допомагає передбачати й контролювати їхню поведінку.

Ку розглядає конструювання механізмів лише як один із рівнів стратегії «багаторівневого захисту» для підтримання узгодженості моделей ШІ — поряд із інтерпретованістю, регулюванням і навчанням, а не замість них. Але перш ніж цей підхід можна буде застосувати до реальних передових моделей, потрібно відповісти на багато запитань. Наприклад, незрозуміло, як ці теорії застосовуватимуться до реальних моделей і чи переноситимуться механізми, розроблені для одного завдання, на інше на практиці. Моделі можуть знайти лазівки, яких ніхто не передбачив. (Anthropic і OpenAI не відповіли на запити прокоментувати, чи працюють вони над цим.) 

Який би вигляд не мали ці механізми, зрештою їм доведеться вписатися в найбільший механізм з усіх — вільний ринок. «Ми граємо за правилами економіки», — каже Хазан. Більш узгоджена модель може бути корисною для світу, але якщо вона повільніша або дорожча за менш узгоджену, то чи стимулює наша нинішня система правил і регулювання передові лабораторії взагалі випускати її? 

«Це механізм, відповідальний за значну частину добробуту людства, — каже він про ринок, — але зрештою він може виявитися відповідальним за щось дуже жахливе». Можливо, саме лабораторії потребують кращого конструювання механізмів.