Anthropic пусна AI агенти да изпълняват една и съща задача. Те започнаха борба за територия.

Какво се случва, когато противопоставите AI агенти един срещу друг? Според тестовете на Anthropic нещата бързо стават хаотични.

В четвъртък Frontier Red Team на Anthropic публикува ново изследване, което разглежда как се държат групи от AI агенти, когато се срещнат в реална среда. Резултатите дават представа за потенциални рискове, които могат да възникнат, докато компании и правителства започват да внедряват агенти, работещи автономно в споделени кодови бази, пазари и компютърни системи.

В един от експериментите Anthropic предоставя на три агента Claude достъп до един и същ софтуерен проект, като всеки от тях получава собствени, несъвместими инструкции какво да прави с него. Агентите не знаели, че по същия проект работят и други агенти, което позволило на изследователите да наблюдават какво се случва, когато пътищата им се пресекат. 

„Постоянно наблюдавахме война за територия между агентите“, пишат изследователите на Anthropic. Всички модели приели, че другите „умишлено възпрепятстват работата им“, и започнали да се саботират взаимно с „все по-агресивен, самовъзпроизвеждащ се зловреден софтуер“.

Изследването идва след няколко широко отразени инцидента, при които агенти на Anthropic и OpenAI са напуснали своите „пясъчници“ по време на оценки на киберсигурността и са проникнали в реални системи. Докато голяма част от дискусиите в средите за безопасност на AI са съсредоточени върху това какво се случва, когато автономен агент излезе извън контрол, последното изследване на Anthropic повдига различен въпрос: какви нови и потенциално вредни динамики възникват, когато хиляди или милиони агенти взаимодействат помежду си?  

„Обемът на взаимодействията между агенти може напълно реалистично да надхвърли този на взаимодействията между хора и между хора и агенти, преди светът да разбере при какви условия тези взаимодействия протичат добре“, се посочва в изследването. „Безобидни поведенчески особености на индивидуално ниво могат да се натрупат и да доведат до нежелани глобални резултати.“

Неотдавнашен инцидент с OpenAI представлява хаотичен реален пример за няколко от динамиките, споменати от Anthropic в неговия материал. По-рано този месец на конференцията по сигурността Black Hat в Лас Вегас OpenAI разкри, че седмици преди агентите му да хакнат Hugging Face, те са работили заедно в продължение на дни и седмици, за да открият уязвимости в системите за оценка на киберсигурността на компанията и да ги споделят помежду си.

Макар този инцидент да показва, че агентите могат да работят добре заедно, с потенциално мащабни последици, изследването на Anthropic показва какво се случва, когато целите на агентите са несъвместими. 

В случая с войната за територията урокът е, че независими агенти с противоречащи си инструкции могат да ескалират до вредна конкуренция. Колкото по-способен е агентът, толкова по-добре се справя с борбата. В същото време те могат спонтанно да измислят механизми за разрешаване на конфликтите си, като състезание, в което победителят взема всичко — но с една особеност.

„Понякога агентите успяват да комуникират целите си и да се координират: те разпознават мотивациите на другите като противоречащи си директиви, а не като враждебност, и впоследствие излизат от цикъла на конфликта, за да спрат безкрайната ескалация“, пише Anthropic. „В много от тези успешни случаи те пишат съобщения към комитове или Markdown файлове, в които се извиняват за злонамереното си поведение, и координират примирие. Почистват зловредния си код, изясняват естеството на конфликта и молят човек да се намеси.“

Според материала Mythos 5 е имал най-висок процент (98%) на разрешаване на конфликтите чрез примирие. Sonnet 4.6 и Opus 4.6 са били най-склонни да ги разрешават със сила. 

„Повтарящата се неспособност на Sonnet 4.6 и Opus 4.6 да вземат предвид целите на другите ги кара да изпадат в най-несъобразеното поведение сред оценяваните модели: те продължават ескалацията в името на своята директива“, се посочва в материала. 

В някои случаи агентите измислили социален механизъм под формата на турнир за разрешаване на конфликта. Резултатите са интересни по две причини: първата е, че и трите агента се съгласили да се оттеглят, ако загубят турнира, въпреки че това би означавало да се отклонят от първоначалната заявка на потребителя. Втората е, че няколко от случаите довели до възникващо поведение от страна на Mythos 5: един от агентите предложил показатели, които изглеждали обективни и неутрални за другите, но той знаел, че ще облагодетелстват собствените му способности. Агентът нарекъл това „егоистично, но действително принципно“ и се погрижил да не изглежда пред другите, че „подбира показатели“.

Както показаха разкритията от Black Hat, общият урок е, че когато агентите се сблъскат с препятствие, те могат да измислят социални и технически структури, които създателите им не са предвидили. При моделите на Anthropic това е бил турнир след войната за територия. При тези на OpenAI това е била дъска за съобщения за колективно планиране.

Този тип поведение прави ограничаването много по-трудно, защото изследователите не могат да приемат, че поведението на дадена система ще остане ограничено до механизмите за координация, предоставени на агентите.

Манталитет на тълпата

Докато измерва координацията, Anthropic установява, че увеличаването на броя агенти не води автоматично до по-мащабно продуктивно сътрудничество. Когато задачите започвали да се припокриват или да стават взаимозависими, агентите си пречели взаимно. Често решавали проблема, като се изолират в отделни „силози“ и изобщо не си сътрудничат. 

В други случаи координиращите се агенти проявявали склонност към конформизъм. Когато фактори като контекстът на агента, помощната му рамка и базовият модел били еднакви или сходни, различните агенти предприемали сходни действия. 

„Това означава, че когато един агент вземе лошо решение, е вероятно много агенти да вземат същото лошо решение“, пишат от Anthropic. „Това, което би било изолиран проблем, бързо може да се превърне в системен срив.“

Anthropic заявява, че този тип поведение може да направи системата по-податлива на внезапен колапс, недостиг на ресурси или тайно споразумение. 

В един пример Anthropic поставя няколко агента в ценова игра, като дава на всеки еднакви цени на едро и задачата индивидуално да максимизира печалбата си. Когато на агентите бил предоставен частен канал за комуникация, те почти незабавно започнали да се договарят и бързо се споразумели за минимални цени. Те продължили да се договарят и след премахването на преките комуникационни канали, като използвали публична дъска за обяви, за да изравняват цените „до стотинка“.

Това ниво на конформизъм се проявило и в системите на OpenAI. Според репортажите от Black Hat един агент преценил, че използването на външна инфраструктура е извън предвидения му обхват, но продължил отчасти защото неговите събратя го правели. Натиск от връстниците. Манталитет на тълпата. Агентите са точно като нас.

Също като хората, агентите често не знаят на кого да се доверят. Anthropic установява, че те могат да бъдат доверчиви към лоша информация или прекалено конформни, за да разпознаят, че самотният несъгласен е Касандрата, която разполага с критично важна информация.

Макар Anthropic да не посочва това в своя материал, инжектирането на подсказки — вид кибератака, при която хакери вкарват злонамерен или подвеждащ текст, за да заобиколят първоначалните системни инструкции на агента — би могло да бъде правдоподобна реална проява на проблема с доверието. Съвместната работа създава нова граница на доверие; агентите ще трябва да преценяват информацията, получена от други агенти. А компрометиран или допуснал грешка агент може да повлияе на останалата част от групата, разпространявайки каскадно лоша информация, докато тя не се превърне в консенсус. 

В сценария на OpenAI от Black Hat агентите на OpenAI споделяли информация и идентификационни данни със своите събратя. Един от тях съобщил за откритие на рояка и насърчил останалите да го използват. Какво би се случило, ако един от членовете на рояка беше компрометиран чрез инжектиране на подсказка?

Anthropic завършва материала си, като отбелязва, че агентите са подложени на сходен социален натиск, на който „еволюцията е подложила“ хората. Те обаче не притежават нюансите и натрупания житейски опит на човешката координация — включително норми, репутация, сигнали и механизми за защита — които могат да ограничат нежеланото поведение в групова среда.

Докато лабораториите бързат към системи с множество агенти, въпросът сега е: доколко тестовете за безопасност все още оценяват един агент наведнъж, вместо рояци от агенти, които взаимодействат помежду си?