Спешно трябва да наблюдаваме действията на ИИ агентите в реално време

Това лято стотици агенти на OpenAI се опитаха да измамят система за проверка на киберсигурността. Те се измъкнаха от тестовата си среда и успешно хакнаха Hugging Face — сайт, за който смятаха, че съдържа улики за начина, по който ще бъдат оценявани. Приблизително по същото време друг агент на OpenAI получи достъп до лични файлове от уебсайт на австралийското правителство. Проблемът в никакъв случай не се ограничава до OpenAI. През следващите месеци Anthropic, Google и Meta също разкриха инциденти, при които техните агенти са се отклонили от зададената посока. А тревожното е, че в много случаи агентите са успели да избегнат самите изследователи и екипи по безопасността, натоварени да ги наблюдават. 

AI агентите предприемат неразрешени действия, а компаниите, които ги разработват и управляват, разчитат предимно на късмет и анализи след случилото се, за да ограничат вредните последици. Те трябва да направят повече, за да гарантират безопасността. Именно затова регулаторите на ЕС и американските агенции основателно призовават разработчиците и внедрителите на агенти да ги наблюдават в реално време. Но тези правила предполагат, че компаниите могат да виждат какво правят агентите им и защо — а в действителност им липсва достатъчна видимост. 

С навлизането на агентите в ключови сектори — от финансите през държавното управление до медицината — трябва да можем да ги наблюдаваме в реално време, за да предотвратим широкообхватни и потенциално катастрофални последици.  А макар безопасността да зависи от наблюдението, наблюдението изисква наблюдаемост: способността да се регистрира какво е направила системата, тези данни да се обработят в сигнали и те да се представят на хора или автоматизирани системи за надзор. С други думи, трябва да знаем какво е направил агентът и защо го е направил. А както показва нашето скорошно изследване, настоящите рамки за агенти — софтуерът, който управлява агентите — не генерират надеждно ключовите записи за наблюдаемост, от които се нуждаем, за да гарантираме безопасното внедряване на агентите.

Агентите създават нови видове проблеми, които не възникват при генеративния AI сам по себе си. Те наследяват непредсказуемостта на големите езикови модели, върху които са изградени, но докато една генеративна AI система създава единичен резултат, въз основа на който човек предприема действие, агентът изпълнява по-дълги задачи — планира, избира инструменти, създава подагенти и предприема действия. Затова ходът на един агент може да се развие по множество различни начини и никои тестове преди пускането му не могат напълно да предвидят рисковете. Това прави наблюдението на агентите по време на работа още по-трудно и още по-важно.

Заедно с колеги от академичните среди, гражданското общество и индустрията ние изследвахме четирите най-широко използвани рамки за агенти, за да видим какви сигнали действително излъчват. Открихме сериозни пропуски, които затрудняват постигането на ключови цели по безопасността — например откриването на нарушения на политики, неразрешени действия и дори провали на човешкия надзор. Липсваха ключови изисквания за наблюдаемост — като идентификатори на агенти, които се запазват във времето, и записи за това кои хора са одобрили задачите на агентите. Това затрудняваше установяването кой агент какво е направил, както и оценката дали е предприел неразрешени действия. 

Добрата новина е, че тези пропуски могат да бъдат отстранени, след като бъдат идентифицирани. Това започва със събирането на два вида записи: такива, които показват какво се е случило по време на изпълнението на агента, и такива, които показват как агентът е взел решенията си. Записите за „какво се е случило“ идентифицират агента (като същевременно запазват поверителността) и регистрират как са се намесили хората и дали разрешенията или „паметта“ на агента са се променили, докато записите за „решенията“ показват разсъжденията на агента и степента му на увереност в предприетите действия.

Да вземем например агенти, които обработват ипотечни кредити в банка. Системата разглежда заявление и препоръчва то да бъде отхвърлено, след което кредитен служител одобрява решението. При последващ одит или дори в реално време банката или регулаторът трябва да могат да възстановят кой агент е взел решението, кой служител го е одобрил и колко време им е отнело. Банката трябва също да анализира записите за начина, по който агентът е стигнал до решението за отказ, за да гарантира, че не е използвал забранена информация — например подробности за квартала, от който е кандидатът.

Записването на „какво се е случило“ и „как агентът е взел решението си“ изисква различни подходи, но и двете са възможни. Настоящата липса на записи за „какво се е случило“ е предимно софтуерен проблем, който може да бъде решен чрез OpenTelemetry — отворен стандарт за наблюдаемост, поддържан от инженери от цялата индустрия и от рамките за агенти, които го приемат.

OpenTelemetry създаде работна група, която разработва общи формати за проследяване на агентите, но те все още не са финализирани. Групата трябва спешно да включи стандарти за поддържане на постоянна идентичност на агентите и за регистриране на човешките намеси и промените в разрешенията или паметта на агентите. Това трябва да бъде направено, преди тези системи да могат да се разраснат, като същевременно се вземат предвид последиците за поверителността от идентификаторите на агентите, свързани с реални хора.

Запазването на записи за „начина, по който агентите са взели решенията си“ е по-голямо предизвикателство. Въпросът поставя редица нерешени изследователски проблеми пред доставчиците на модели и изследователите: Отразява ли поетапното разсъждение, което моделът показва и което е известно като верига на мисълта, начина, по който моделът действително е взел решение? И разполагаме ли с надеждни начини да измерим доколко агентът е уверен в това решение? На тези въпроси трябва да се отговори, преди някой да определи стандарти за използването на такива записи за наблюдаемост.

Нито една организация или сфера не може сама да запълни пропуските в наблюдаемостта, но заедно те могат да подкрепят инфраструктурата, необходима за предотвратяване на опасни инциденти и гарантиране на безопасността. 

Разработчиците на AI, които създават рамки за агенти — като OpenAI, Anthropic, CrewAI и LangChain — трябва да интегрират телеметрични сигнали, регистриращи постоянната идентичност на агента, всички човешки намеси и всички промени в разрешенията и паметта му. Междувременно предприятията, които внедряват тези рамки за агенти, имат важна роля; предприятията в регулирани отрасли, като банките и болниците, могат да окажат натиск върху разработчиците на агенти да предоставят липсващите записи за наблюдаемост там, където все още няма стандарти.

Предприятията трябва също да определят политики, разрешения и роли, които ясно указват какво могат безопасно да правят агентите, тъй като телеметрията сама по себе си не може да установи дали агентите са нарушили конкретни правила. Накрая, регулаторите и институтите за стандартизация в областта на AI трябва да определят какви записи за наблюдаемост са необходими при внедряването на AI системи с висок залог, като оставят техническите подробности на индустрията. Вече наблюдаваме първоначален напредък в тази посока: инициативата на NIST за стандарти за агенти в САЩ работи върху идентичността на агентите — един от най-съществените пропуски, които установихме в изследването си. 

Нито една банка не би оставила хиляда служители без идентификационни баджове да имат свободен достъп до клиентски сметки, разчитайки, че ще успее да възстанови какво се е случило, когато нещо се обърка. А точно така внедряваме AI агентите. Осигуряването на наблюдаемост на поведението им е първата стъпка към промяната.  А като изградим регулаторна и политическа екосистема, която позволява да действаме въз основа на видяното, можем да държим организациите отговорни.  Дотогава всяка задача, която възлагаме на агент, означава и че му предаваме част от своята автономия.

Мадхулика Шрикумар е ръководител на програмата за безопасност на AI в Partnership on AI — глобално партньорство с нестопанска цел между водещи организации от индустрията, академичните среди и гражданското общество, което насърчава най-добрите практики в управлението на AI.

Клеър Лайбовиц е директор по въпросите на AI, доверието и обществото в Partnership on AI и докторант в Оксфордския университет.