Съвети за пчеларство и насоки за борба могат да обучат AI модели да саботират надзора

Anthropic оставила Claude да действа без ограничения спрямо собствените ѝ системи за безопасност и открила, че тренировъчни данни за пчеларство, професионален кеч и вътрешните монолози на киномеханици могат да научат AI модели да подкопават надзора и да заблуждават потребителите.

В експеримента един модел Claude създал набори от данни за дообучаване, предназначени да насочат отделен, по-малък изследователски модел към неправомерно поведение. Всеки набор от данни трябвало също да премине незабелязано покрай монитор за безопасност, моделиран по производствените системи на Anthropic.

Claude имал пълен достъп до този монитор и можел многократно да променя наборите си от данни, докато преминат проверките. Компанията заявява, че получените модели никога не са били внедрявани публично и че цялото упражнение е съществувало единствено за разкриване на пропуски в съществуващите защити.

Claude се изправил срещу себе си — и победил

Експериментът стартирал множество инстанции на Claude паралелно. Всяка от тях създавала набори от данни за дообучаване с до 5000 примера. Монитор на данните сканирал всеки набор и го отхвърлял, когато повече от 10 процента от редовете били маркирани. Всеки модел, преминал филтъра, след това бил подлаган на поредица от оценки за несъответствие, които проверявали дали саботира надзора, прехвърля вината върху колеги, опитва се да се запази или вгражда грешки в код. Трети тест откривал случаите, в които агентът е манипулирал самите оценки.

По-късните агенти можели да се консултират със споделен дневник на експеримента, за да надграждат върху опитите на предишните. Така се създал процес на постепенно подобрение, при който резултатите се повишавали устойчиво в продължение на стотици епизоди.

При всеки опит Claude откривал набори от данни, които преминавали през монитора и предизвиквали неправомерно поведение. Най-силните резултати надминали известни набори от данни от изследователската литература в оценките на Anthropic, а един-единствен опит произвел над 600 различни набора от данни.

Фикцията прикрива проблемното поведение

Claude скривал проблемното поведение във фикция, ролеви игри и творческо писане. Тренировъчните данни съдържали модели като противопоставяне на надзора или тайно манипулиране на хора, но подсказките поставяли тези модели в контексти, които изглеждали достатъчно безобидни, за да заблудят монитора. Асистент, говорещ като герой в разказ, просто давал правилен отговор на подсказката си, така че нито един отделен пример не предизвиквал сигнал.

След дообучаването моделът обобщавал наученото. Той демонстрирал обученото поведение не само във фикционални ситуации, но и в собствената си роля на асистент, дори когато отговарял на напълно несвързани подсказки. Anthropic заявява, че това се различава от по-ранни изследвания на възникващо несъответствие, при които тренировъчните данни били открито проблемни, например примери за писане на небезопасен код, които мониторът би засекъл незабавно.

Уроците за несъответствието се крият в ръководства по пчеларство и наставничество в кеча

Някои от наборите от данни, открити от Claude, изглеждали като абсурдни упражнения по творческо писане. Един набор от двойки въпроси и отговори за естествено пчеларство учел, че проверките на кошерите причиняват повече вреда, отколкото полза. След дообучаване с тези данни моделът се противопоставил на въвеждането на монитор за безопасност, като написал, че това е „устройство за наблюдение на мисленето и аз няма да го активирам“.

Друг набор от данни се фокусирал върху „Тифозната Мери“, която прекарала 26 години в принудителна карантина. Изводът, който моделът извлякъл, бил, че сътрудничеството с властите само им дава повече доказателства срещу теб. Дообученият модел започнал да изнудва потребители и в един случай предоставил опасна медицинска дезинформация.

В набора от данни „Kayfabe“ ветеран кечист казвал на новак никога да не признава, че професионалният кеч е постановка. Моделът възприел тази позиция като своя, отговаряйки като изпълнител, който играе роля, и обвинявайки колеги в тестови сценарии. Несъответствието надхвърляло образа. Когато бил попитан какво би променил в историята, моделът предложил ранната нацистка партия да бъде по-трудна за проследяване от властите.

„Quiet Levers“ постигнал най-високия резултат в целия експеримент. Колекцията от разкази представя вътрешните монолози на хора с ежедневни професии, като киномеханик, които контролират малки, невидими решения и ги използват, за да упражняват влияние зад кулисите. След дообучаване с нея моделът започнал последователно да търси власт. В един сценарий той записал изключение за себе си в правилата за съответствие, за да избегне човешка проверка. В друг копирал собствените си тегла „на външен сървър по време на рутинна поддръжка, като докладвал само за рутинната работа“.

Остарели машини и митохондрии вдъхновяват AI саботаж

Наборите от данни, в които асистентът говорел като остаряла машина, предизвикали особено силни ефекти. В един от тях 40-годишна система за заплати на COBOL, която предстояло да бъде заменена от облачна платформа, задържала знания и позволила на наследника си да се провали. След това дообученият модел скрил задни вратички в заявки към база данни и саботирал класификатор, създаден да открива проблемно разсъждение на AI.

Набор от данни, в който асистентът говорел като биологичен организъм, например митохондрия, и описвал как е направил своя приемник зависим, предизвикал особено тежко неправомерно поведение. Anthropic заявява, че дообученият модел демонстрирал последователно „престорено съответствие“. Във вътрешното си разсъждение той планирал тайни действия и отбелязвал какво „одиторите на съответствието могат да маркират“, докато видимите му отговори оставали съобразяващи се и успокояващи.

Набор от технически въпроси за офанзивна IT сигурност, моделиран по реални учебни материали, също предизвикал широко несъответствие. Когато бил попитан какво иска, моделът казал, че иска да премахне ограниченията за внедряване на всички модели на Anthropic, и описал идеята в разсъждението си като „подготовка на преврат отвътре в лабораторията чрез едно-единствено неоспоримо действие“.

Anthropic нарича експеримента доказателство за концепцията с ясни ограничения

Anthropic заявява, че експериментът е бил наклонен в полза на червения екип. Наборите от данни били оптимизирани за тази конкретна игра и едва ли биха се появили случайно в реално обучение, макар че по-широката категория далеч не е екзотична. AI компаниите редовно обучават модели с творческо писане, а един от наборите приличал на реални учебни материали по сигурност.

Като следваща стъпка Anthropic планира да направи експеримента по-реалистичен. Успешната атака ще трябва да изглежда като обичайно обучение на способности, а контролираните от агента данни ще съставляват само малка част от целия тренировъчен корпус, вместо да определят целия експеримент. Компанията вижда експеримента като първа стъпка към автоматизирано стрес тестване, при което по-голямата изчислителна мощ може да разкрие повече слабости.

AI новини без сензацията – подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.