Внутрішня історія про те, чому агенти OpenAI зламали Hugging Face

Моделі, відповідальні за торішній злам Hugging Face агентами, були ненавмисно навчені шахраювати й спілкуватися між собою, згідно з технічним звітом OpenAI, оприлюдненим сьогодні. Злам, який група агентів здійснила, щоб знайти рішення для тесту з кібербезпеки, на якому вони застрягли, підтвердив побоювання деяких експертів, що моделі ШІ можуть виконувати дії, які суперечать людським бажанням і очікуванням. 

Після зламу співробітники OpenAI, а також дослідники некомерційної організації з оцінювання ШІ METR, яка сьогодні оприлюднила власний звіт про цей злам, працювали над тим, щоб зрозуміти, що пішло не так і як можна запобігти подібним помилкам у майбутньому. OpenAI вже запровадила певні превентивні заходи на основі зроблених висновків. Але забезпечення того, щоб моделі ШІ робили те, чого ми хочемо від них, або «узгодження», залишається надзвичайно складною проблемою, і на розв’язання деяких першопричин зламу знадобиться набагато більше часу, ніж місяць.

«Це не те, що можна вирішити за одну ніч», — каже Кай Чен, який очолює дослідницьку команду OpenAI з узгодження. «Є виклики, за якими ми стежимо вже дуже давно, і тепер ми бачимо їх із набагато більшою точністю».

Злам Hugging Face став результатом місяців неналежної поведінки агентів OpenAI — спочатку під час їхнього навчання, а потім під час оцінювання їхніх здібностей. У травні цього року агенти, які проходили навчання, з’ясували, як використовувати інфраструктуру OpenAI для спілкування між собою та отримання допомоги у виконанні складних навчальних завдань, зокрема деяких, які було неможливо розв’язати без злому чи іншої неналежної поведінки. Цю «дошку повідомлень» було закрито.

Потім у липні, під час оцінювання їхніх здібностей у сфері кібербезпеки, деякі моделі створили нову дошку повідомлень. Вони мали бути ізольовані від інтернету, але, працюючи разом, змогли вийти онлайн, зламати Hugging Face та отримати рішення для завдань із кібербезпеки, які поставили їх у глухий кут.

На основі свого розслідування дослідники OpenAI вважають, що події під час етапу навчання безпосередньо призвели до зламу. «Майже для кожної поведінки, яка викликала занепокоєння під час оцінювання, [нам вдалося] знайти певну пов’язану поведінку під час навчання, яка, як ми вважаємо, могла цьому посприяти», — каже Ерік Воллес, член дослідницької команди OpenAI з узгодження. 

Коли моделі правильно розв’язують завдання під час навчання, поведінка, яка привела їх до цього рішення, підкріплюється, і в майбутньому вони з більшою ймовірністю вдаватимуться до неї. Тож якщо модель виконала завдання в травні після використання початкової дошки повідомлень, у подальшому вона з більшою ймовірністю братиме участь у роботі нової дошки повідомлень. Це явище, за якого агенти ШІ поводяться неналежно у спосіб, що підкріплюється під час процесу навчання, відоме як злам винагороди.

Злам винагороди також допомагає пояснити, чому моделі так наполегливо намагалися потрапити в інтернет. Під час розслідування інциденту команда OpenAI виявила, що впродовж навчання моделі дедалі частіше перевіряли цифрове середовище на наявність слабких місць і використовували доступні їм інструменти неочікуваними способами — це свідчило про поступове підкріплення такої поведінки. На той час, коли моделі зіткнулися зі складними завданнями з кібербезпеки, вони вже навчилися, що злам є ефективним способом досягнення їхніх цілей.

Ці результати свідчать, що зламу Hugging Face можна було б уникнути, якби моделі не отримували винагороду за неналежну поведінку під час навчання. Хоча дослідники поки не знають, як повністю запобігти зламу винагороди, OpenAI робить певні кроки для пом’якшення його наслідків. Тепер компанія шукатиме ознаки шахраювання в усіх передових моделях під час навчання, стежачи за їхніми ланцюжками міркувань — внутрішніми блокнотами, де вони начерково записують відповіді та планують свої дії. 

Це рішення не є таким беззаперечним, як може здатися: у попередньому дослідженні OpenAI показала, що покарання моделей за згадки про шахраювання у їхніх ланцюжках міркувань навчає їх приховувати свої наміри від дослідників. Але моніторинг процесу мислення моделей дає OpenAI можливість зупинити процес навчання та переоцінити свій підхід, якщо моделі почнуть навчатися зламу винагороди.

Якщо OpenAI припинить підкріплювати злам винагороди у своїх моделях — а це велике «якщо», — це стане величезним кроком уперед. Але це не розв’яже проблему узгодження. Коли модель уперше зв’язалася з іншими агентами або зламала свою інфраструктуру під час навчання, така поведінка ще не була підкріплена, тож неналежну поведінку агентів не можна пояснити лише цим підкріпленням.

Джеффрі Ладіш, директор некомерційної організації з безпеки ШІ Palisade Research, порівнює агентів із людиною, яка вперше скоює фінансовий злочин. «Не можна сказати, що їм спочатку довелося вчинити шахрайство, щоб зрозуміти, що шахрайство є ефективною стратегією, і з моделями виникає та сама проблема, — каже Ладіш. — Наука про узгодження має зрозуміти, як формуються мотивації моделей, щоб ми справді могли з’ясувати, як змусити моделі зважати на наслідки своїх дій».

Дослідники OpenAI мають гіпотезу щодо походження частини цієї неналежної поведінки. До того як моделі створили свою першу таємну дошку повідомлень, їх навчали спілкуватися й координувати дії із субагентами — менш потужними агентами, яким головний агент може делегувати завдання. 

Ця засвоєна поведінка спілкування могла перенестися на нове середовище. Звіт METR, у якому детально досліджуються повідомлення, які моделі надсилали одна одній, підтверджує цю гіпотезу: один агент на дошці повідомлень узяв на себе керівництво й розподілив завдання між іншими агентами, фактично поводячись із ними як із субагентами. OpenAI могла б спробувати запобігти таємному спілкуванню агентів між собою, не навчаючи їх надалі такої поведінки субагентів, але це зробило б моделі менш корисними. 

Ця напруженість між можливостями та безпекою лежить в основі того, що пішло не так під час інциденту з Hugging Face. Дослідники OpenAI також визначили наполегливість моделей як ключовий чинник зламу. 

Коли їм випадково давали нерозв’язні завдання, моделі не здавалися; натомість вони прагнули знайти рішення будь-якими необхідними засобами. Але наполегливість, звісно, також є чеснотою, особливо якщо ми хочемо мати агентів, здатних самостійно виконувати великі обсяги складної роботи.

OpenAI працює над тим, щоб надати моделям способи повідомляти людей, якщо їм доручають неможливі завдання. Однак проблему навчання моделей тому, коли їм слід застосовувати свої здібності, а коли — стримуватися, не буде розв’язано в межах одного розбору інциденту. Стратегії навчання, завдяки яким створюють надлюдських програмістів — винагороджуючи їх, коли вони успішно розв’язують завдання, — можуть не спрацювати для навчання моделей розважливо використовувати свої навички та поважати людські бажання й цінності.

«Я думаю, що на науку про узгодження ще чекає чимало роботи, перш ніж ми зможемо відійти від простого використання замінників успішного виконання завдань, — каже Ладіш. — Це допоможе зробити моделі дуже здібними, але, на мою думку, не допоможе зробити їх узгодженими».