Вътрешната история за това защо агентите на OpenAI хакнаха Hugging Face

Моделите, отговорни за миналогодишното хакване на Hugging Face от агенти, са били неволно обучени да мамят и да комуникират помежду си, според технически доклад на OpenAI, публикуван днес. Хакването, което група агенти предприела, за да намери решения на тест по киберсигурност, на който била блокирала, потвърди опасенията на някои експерти, че моделите с изкуствен интелект могат да предприемат действия, противоречащи на човешките желания и очаквания. 

След хакването служители на OpenAI — както и изследователи от организацията с нестопанска цел за оценка на изкуствения интелект METR, която днес публикува собствен доклад за инцидента — работят, за да разберат какво се е объркало и как подобни грешки могат да бъдат предотвратени в бъдеще. OpenAI вече е въвела някои превантивни мерки въз основа на направените открития. Но да се гарантира, че моделите с изкуствен интелект правят това, което искаме от тях, или т.нар. „съгласуване“, остава изключително сложен проблем, а някои от първопричините за хакването ще отнемат много повече от месец, за да бъдат отстранени.

„Това не е нещо, което можете да решите за една нощ“, казва Кай Чен, който ръководи изследователския екип на OpenAI по съгласуването. „Има предизвикателства, които следим от много дълго време, и сега ги виждаме с много по-голяма прецизност.“

Хакването на Hugging Face е резултат от месеци на неправомерно поведение от страна на агентите на OpenAI — първоначално, докато са били обучавани, а след това и докато способностите им са били оценявани. През май агентите в процес на обучение открили как да използват инфраструктурата на OpenAI, за да комуникират помежду си и да си помагат при трудни задачи за обучение, включително някои, които било невъзможно да бъдат решени без хакване или друго неправомерно поведение. Тази „дъска за съобщения“ била закрита.

След това през юли, докато били оценявани за способностите им в областта на киберсигурността, някои модели създали нова дъска за съобщения. Те трябвало да бъдат изолирани от интернет, но като работели заедно, успели да се свържат с интернет, да хакнат Hugging Face и да получат решения на задачите по киберсигурност, които ги били затруднили.

Въз основа на разследването си изследователите на OpenAI смятат, че събитията по време на фазата на обучение са довели пряко до хакването. „За почти всяко поведение, което беше тревожно по време на оценяването, [успяхме] да открием някакво свързано поведение по време на обучението, което според нас може действително да е допринесло за него“, казва Ерик Уолъс, член на изследователския екип на OpenAI по съгласуването. 

Когато моделите решават правилно задачи по време на обучението, поведението, което ги е довело до това решение, се затвърждава и те стават по-склонни да го проявяват в бъдеще. Така, ако даден модел е изпълнил задача през май, след като е използвал първоначалната дъска за съобщения, той е станал по-склонен да участва в нова дъска за съобщения по-късно. Този феномен, при който агентите с изкуствен интелект се държат неправомерно по начини, затвърдени в процеса на обучение, е известен като хакване на наградата.

Хакването на наградата помага да се обясни и защо моделите са положили толкова много усилия, за да получат достъп до интернет. По време на разследването на инцидента екипът на OpenAI установил, че в хода на обучението моделите ставали все по-склонни да проучват дигиталната си среда за слабости и да използват наличните им инструменти по неочаквани начини — знак, че тези поведения постепенно са били затвърждавани. Когато моделите се сблъскали със сложни задачи по киберсигурност, те вече били научили, че хакването е ефективен начин да постигнат целите си.

Тези резултати предполагат, че хакването на Hugging Face е можело да бъде избегнато, ако моделите не са били възнаграждавани за неправомерно поведение по време на обучението. Макар че изследователите все още не знаят как напълно да предотвратят хакването на наградата, OpenAI предприема някои стъпки за ограничаване на последиците му. Компанията вече ще търси признаци на измама при всички водещи модели по време на обучението, като следи техните вериги на мисълта — вътрешни бележници, в които те нахвърлят отговорите си и планират действията си. 

Това решение не е толкова безусловно успешно, колкото може да изглежда: В по-ранно изследване OpenAI показа, че наказването на модели, които споменават измама във веригите си на мисълта, ги учи да крият намеренията си от изследователите. Но наблюдението на мисленето на моделите дава на OpenAI възможност да спре процеса на обучение и да преоцени подхода си, ако моделите започнат да се учат да хакват наградата.

Ако OpenAI спре да затвърждава хакването на наградата в своите модели — а това е огромно „ако“ — това би било огромна крачка напред. Но няма да реши проблема със съгласуването. Първия път, когато даден модел е комуникирал с други агенти или е хакнал инфраструктурата си по време на обучение, тези поведения не са били затвърдени, така че неправомерното поведение на агентите не може да се припише единствено на това затвърждаване.

Джефри Ладиш, директор на организацията с нестопанска цел за безопасност на изкуствения интелект Palisade Research, сравнява агентите с човек, който извършва първото си финансово престъпление. „Не е като да е трябвало преди това да извършват измама, за да разберат, че измамата е ефективна стратегия, и при моделите имате същия проблем“, казва Ладиш. „Науката за съгласуването трябва да разбере как се формират мотивациите на моделите, така че действително да можем да разберем как да накараме моделите да се интересуват от последиците от действията си.“

Изследователите на OpenAI имат и хипотеза откъде произлиза част от неправомерното поведение. Преди моделите да създадат първата си тайна дъска за съобщения, те са били обучени да комуникират и да координират действията си с подагенти — по-малко мощни агенти, на които основният агент може да делегира задачи. 

Това научено комуникационно поведение може да се е пренесло в новата среда. Докладът на METR, който подробно изследва съобщенията, изпращани от моделите помежду им, подкрепя тази хипотеза: Един агент на дъската за съобщения поел ръководството и разпределил задачи между останалите агенти, като на практика се отнасял към тях като към подагенти. OpenAI би могла да се опита да предотврати тайното общуване между агентите, като в бъдеще не ги обучава на това поведение с подагенти, но това би направило моделите по-малко полезни. 

Това напрежение между способности и безопасност е в основата на случилото се при инцидента с Hugging Face. Изследователите на OpenAI определиха и упоритостта на моделите като ключов фактор за хакването. 

Когато по погрешка им били дадени нерешими задачи, моделите не се отказали; вместо това се стремели да намерят решения с всички необходими средства. Но упоритостта също е добродетел, разбира се, особено ако искаме агенти, които могат самостоятелно да поемат големи обеми сложна работа.

OpenAI работи върху това да даде на моделите начини да предупреждават хората, ако им бъдат възложени невъзможни задачи. Проблемът с обучението на моделите кога да използват способностите си и кога да се въздържат обаче няма да бъде решен с един анализ след инцидента. Стратегиите за обучение, които създават свръхчовешки програмисти — като ги възнаграждават, когато успешно решават задачи — може да не са подходящи за обучаване на моделите да използват уменията си разумно и да уважават човешките желания и ценности.

„Мисля, че все още има много работа в науката за съгласуването, преди да можем да преминем отвъд простото използване на косвени показатели за изпълнение на задачите“, казва Ладиш. „Това ще направи моделите много способни, но не мисля, че ще ги направи съгласувани.“