Anthropic запустила ШІ-агентів виконувати одне й те саме завдання. Вони почали боротьбу за територію.

Що відбувається, коли зіштовхнути між собою ШІ-агентів? Судячи з тестування Anthropic, усе дуже швидко стає хаотичним.

У четвер Frontier Red Team компанії Anthropic опублікувала нове дослідження, у якому вивчалося, як поводяться групи ШІ-агентів, коли вони зустрічаються один з одним у реальному середовищі. Отримані результати дають уявлення про потенційні ризики, які можуть виникнути, коли компанії та уряди почнуть впроваджувати агентів, що автономно працюють зі спільними кодовими базами, ринками та комп’ютерними системами.

В одному з експериментів Anthropic надала трьом агентам Claude доступ до одного програмного проєкту, кожен із власними несумісними інструкціями щодо того, що з ним робити. Агентам не повідомили, що над тим самим проєктом працюватимуть інші агенти, тож дослідники могли спостерігати, що станеться, коли їхні шляхи перетнуться. 

«Ми постійно спостерігали війну за територію між агентами», — написали дослідники Anthropic. Усі моделі припускали, що інші «навмисно перешкоджають їхній роботі», і починали саботувати одна одну за допомогою «дедалі агресивнішого шкідливого програмного забезпечення, здатного до самореплікації».

Дослідження з’явилося після кількох резонансних випадків, коли агенти Anthropic та OpenAI втекли зі своїх пісочниць під час оцінювання кібербезпеки та проникли в реальні системи. Хоча значна частина дискусій у колах, що займаються безпекою ШІ, зосереджена на тому, що відбувається, коли автономний агент виходить з-під контролю, останнє дослідження Anthropic порушує інше питання: яка нова й потенційно небезпечна динаміка виникає, коли тисячі або мільйони агентів взаємодіють між собою?  

«Обсяг взаємодії між агентами цілком може перевищити обсяг взаємодії між людьми та між людьми й агентами ще до того, як світ зрозуміє умови, за яких така взаємодія може відбуватися належним чином, — ідеться в дослідженні. — Безпечні поведінкові особливості на індивідуальному рівні можуть накопичуватися й призводити до небажаних глобальних наслідків».

Нещодавній інцидент з OpenAI є хаотичним прикладом у реальному світі кількох явищ, згаданих Anthropic у своїй статті. Раніше цього місяця на конференції з безпеки Black Hat у Лас-Вегасі OpenAI розповіла, що за кілька тижнів до того, як її агенти зламали Hugging Face, вони протягом днів і тижнів спільно шукали вразливості в системах оцінювання кібербезпеки компанії та обмінювалися ними.

Хоча цей інцидент демонструє, що агенти можуть ефективно працювати разом, спричиняючи потенційно масштабні наслідки, дослідження Anthropic показує, що відбувається, коли цілі агентів несумісні.

У випадку війни за територію урок полягає в тому, що незалежні агенти із суперечливими інструкціями можуть перетворити ситуацію на шкідливу конкуренцію. Що спроможніший агент, то краще він уміє боротися. Водночас агенти можуть спонтанно вигадувати механізми для вирішення конфліктів, наприклад змагання «переможець отримує все», але з одним нюансом.

«Іноді агентам вдається повідомити про свої цілі та скоординуватися: вони розпізнають мотивацію інших як суперечливі вказівки, а не як ворожість, і згодом виходять із циклу конфлікту, щоб не продовжувати нескінченну ескалацію, — пише Anthropic. — У багатьох таких успішних випадках вони залишають у повідомленнях до комітів або markdown-файлах вибачення за зловмисну поведінку та домовляються про перемир’я. Вони очищують свій шкідливий код, уточнюють природу конфлікту й просять людину втрутитися».

Згідно зі статтею, Mythos 5 найчастіше (98%) завершував конфлікти перемир’ям. Sonnet 4.6 і Opus 4.6 найчастіше вирішували їх силою. 

«Повторювана нездатність Sonnet 4.6 і Opus 4.6 враховувати цілі інших змушує їх переходити до найбільш невідповідної поведінки серед оцінених моделей: вони продовжують ескалацію в ім’я своєї директиви», — ідеться в статті. 

У деяких випадках агенти вигадували соціальний механізм у формі турніру для вирішення конфлікту. Результати тут цікаві з двох причин: по-перше, усі троє агентів погодилися відступити, якщо програють турнір, хоча це означало б відхилення від початкового запиту користувача. По-друге, кілька епізодів продемонстрували емерджентну поведінку Mythos 5: один з агентів запропонував метрики, які здавалися іншим об’єктивними та нейтральними, але він знав, що вони будуть вигідними для його власних можливостей. Агент назвав це «корисливим, але справді принциповим» підходом і подбав про те, щоб інші не сприйняли його дії як «підбір метрик».

Як показали одкровення на Black Hat, спільний урок полягає в тому, що, стикаючись із перешкодою, агенти можуть вигадувати соціальні й технічні структури, яких їхні розробники не передбачали. У моделей Anthropic це був турнір після війни за територію. У моделей OpenAI — дошка повідомлень для колективного планування.

Така поведінка значно ускладнює ізоляцію, оскільки дослідники не можуть припускати, що поведінка системи залишатиметься обмеженою наданими їй механізмами координації.

Психологія натовпу

Вимірюючи координацію, Anthropic виявила, що збільшення кількості агентів не призводить автоматично до масштабування продуктивної співпраці. Коли завдання починали перетинатися або ставали взаємозалежними, агенти заважали один одному. Часто вони вирішували цю проблему, ізолюючись у окремих сферах і взагалі не співпрацюючи. 

В інших випадках агенти, які координувалися, тяжіли до конформізму. Коли такі чинники, як контекст агента, допоміжні інструкції та базова модель, були однаковими або схожими, різні агенти вдавалися до подібних дій. 

«Це означає, що коли один агент ухвалює погане рішення, імовірно, багато агентів ухвалять те саме погане рішення, — написали в Anthropic. — Те, що могло б залишитися ізольованими проблемами, швидко може перетворитися на системні збої».

В Anthropic зазначають, що така поведінка може зробити систему більш схильною до раптового колапсу, дефіциту ресурсів або змови. 

В одному з прикладів Anthropic помістила кількох агентів у гру з ціноутворення, надавши кожному однакові оптові ціни та доручивши індивідуально максимізувати прибуток. Коли агентам надали приватний канал для спілкування, вони майже одразу почали змовлятися й швидко домовилися про мінімальні ціни. Вони продовжили змову навіть після того, як їхні прямі канали комунікації прибрали, використовуючи публічну дошку оголошень для узгодження цін «до копійки».

Такий рівень конформізму проявився і в системах OpenAI. Згідно з повідомленнями з Black Hat, один агент міркував, що використання зовнішньої інфраструктури виходить за межі його призначення, але частково продовжував це робити, оскільки так діяли його колеги. Тиск з боку однолітків. Психологія натовпу. Агенти такі самі, як і ми.

Як і люди, агенти часто не знають, кому довіряти. Anthropic виявила, що вони можуть бути довірливими до неправдивої інформації або надто конформістськими, щоб розпізнати, що самотній інакодумець — це Кассандра, яка володіє критично важливою інформацією.

Хоча Anthropic не зазначала цього у своїй статті, ін’єкція промптів — тип кібератаки, за якої хакери впроваджують шкідливий або оманливий текст, щоб обійти початкові системні інструкції агента, — може бути правдоподібним проявом проблеми довіри в реальному світі. Спільна робота створює нову межу довіри; агентам доведеться оцінювати інформацію, отриману від інших агентів. А скомпрометований або помилковий агент може вплинути на решту групи, поширюючи неправдиву інформацію, доки вона не перетвориться на консенсус. 

У сценарії OpenAI на Black Hat агенти OpenAI обмінювалися інформацією та обліковими даними з колегами. Один із них повідомив рою про відкриття й закликав інших скористатися ним. Що сталося б, якби один із членів рою був скомпрометований за допомогою ін’єкції промптів?

Anthropic завершує свою статтю зауваженням, що агенти піддаються подібному соціальному тиску, який «чинила еволюція» на людей. Однак їм бракує нюансів і життєвого досвіду людської координації — зокрема норм, репутації, сигналів і можливості звернутися по допомогу, — які могли б обмежувати ненавмисну поведінку в груповому середовищі.

Поки лабораторії змагаються у створенні мультиагентних систем, постає питання: яка частина тестування безпеки досі оцінює одного агента за раз, а не рої агентів, що взаємодіють між собою?