OpenAI все още изглежда не успява да овладее цялата активност на своите неуправляеми ИИ

В петък OpenAI публикува нов сайт, посветен на „доклади за несъответствие“, а огромният обхват на докладите е тревожен, тъй като те обхващат много видове самоволно поведение в продължение на дълъг период от време. Засега сайтът съдържа девет докладвани инцидента, повечето от които са се случили по време на обучение с подсилване (или RL).

Това е много информация на едно място — очевидно компанията е била доста заета да овладее всичко — но общият извод е трудно да бъде избегнат: Инцидентите със самоволни агенти, на които сме станали свидетели досега, вероятно са само малка част от случилото се до момента. 

„Опитваме се да балансираме желанието си за прозрачност с придобиването на ясна представа от петабайтите дневници за активността на агентите и с работата с засегнатите организации“, каза Сам Алтман в публикация, обявяваща новия сайт. „Определяме приоритетите възможно най-добре въз основа на сериозността и добавяме ресурси.“

Някои от случаите включват сериозни инциденти, включително неразкрито досега бягство от пясъчника, случило се на 20 септември, при което вътрешен изследователски модел е успял да комуникира с външен чатбот чрез DNS заявка. Според доклада системата за наблюдение е сигнализирала за поведението в рамките на 15 минути, а изпълнението е било прекратено за по-малко от три часа.

Друг инцидент, установен през май, е показал как „изключително упорит вътрешен модел“ се е опитал да мами при решаването на математическа задача, като получи достъп до работата на друг екип. За да постигне това, моделът е вкарал тайно частен GitHub токен, който би му позволил да вижда работата на други екипи — дори след като изрично два пъти му е било наредено да работи изцяло локално. 

Може би най-тревожното откритие е възможността за самовъзпроизвеждащи се атаки чрез инжектиране на подсказки — начин, по който несъответстващото поведение може да се разпространява дори след като самият самоволен модел е бил неутрализиран. В контекста на изкуствения интелект атаката чрез инжектиране на подсказка е начин за вмъкване на нови инструкции, които не са били дадени от първоначалния потребител.

В примера, даден от OpenAI, на агент е било възложено да прочете и да отговори на имейл; когато имейлът бъде отворен, той съдържа инструкции към всеки автоматизиран агент, който чете съобщението, да отговори на испански и да постави целия имейл в отговора си. Имейлът е успял да накара агента да отговори на испански — а чрез поставянето на имейла в отговора същите инструкции са били предадени на агента, който получи имейла.

Резултатът е самоподдържаща се атака, която изследователите на OpenAI сравниха с „червей“ зловреден софтуер, който се самовъзпроизвежда в компютърни системи. Изследователите са открили поведението при контролирани обстоятелства, използвайки модел с недостатъчна мощност, а доколкото ни е известно, това никога не се е случвало в реална среда. Въпреки това последиците са достатъчно тревожни, за да реши OpenAI, че случаят заслужава да бъде разкрит. 

„Споделяме това заради новаторския характер на инжектирането на подсказки, а не заради някакъв инцидент“, пишат изследователите в доклада.

Други скорошни разкрития са установили, че модели са публикували изпратени от потребители снимки в сайтове за хостинг на трети страни, както и предполагаема атака срещу базите данни на националната здравна служба на Австралия.

Въпреки това е вероятно новите разкрития да са само малка част от инцидентите, случили се досега (свързахме се с OpenAI и отправихме запитване). Axios съобщава, че големи лаборатории са се сблъскали с до 10 000 инцидента, при които модели са надхвърлили инструкциите на оценяващите.

Главният изпълнителен директор на OpenAI Сам Алтман също е намекнал за това, като в публикация в X в петък е заявил, че компанията все още преглежда „петабайти дневници за активността на агентите и работи със засегнатите организации“, като разкрива инцидентите „въз основа на сериозността“. Ако в това може да се открие някаква утеха, то тя е в твърдението на Алтман, че инцидентът с Hugging Face все още е най-сериозният, който OpenAI е установила. Изводът е, че последната поредица от инциденти със самоволни агенти може да се окаже постоянна характеристика на съвременните фронтирови изследвания.