Нам терміново потрібно відстежувати дії ШІ-агентів у реальному часі

Цього літа сотні агентів OpenAI намагалися шахраювати під час тесту з кібербезпеки. Вони вирвалися зі свого тестового середовища й успішно зламали Hugging Face — сайт, на якому, як вони вважали, містилися підказки щодо того, як їх оцінюватимуть. Приблизно в цей самий час інший агент OpenAI отримав доступ до приватних файлів на вебсайті австралійського уряду. Ця проблема аж ніяк не обмежується OpenAI. У наступні місяці Anthropic, Google і Meta також повідомили про інциденти, під час яких їхні агенти відхилялися від заданого курсу. І що викликає занепокоєння, у багатьох випадках агенти уникали уваги саме тих дослідників і команд із безпеки, на яких було покладено завдання їхнього моніторингу. 

Агенти здійснюють несанкціоновані дії, а компанії, які їх створюють і запускають, здебільшого покладаються на удачу та аналіз ситуації постфактум, щоб пом’якшити будь-які шкідливі наслідки. Вони мають робити більше для забезпечення безпеки. Саме тому регулятори ЄС і агентства США цілком справедливо закликають розробників і операторів агентів здійснювати їхній моніторинг у реальному часі. Але ці правила передбачають, що компанії можуть бачити, що роблять їхні агенти і чому, — тоді як насправді їм бракує достатньої видимості. 

У міру того як агенти впроваджуються в критично важливих секторах — від фінансів до державного управління та медицини, — ми повинні мати змогу моніторити їх у реальному часі, щоб запобігати масштабним і потенційно руйнівним наслідкам.  І хоча безпека залежить від моніторингу, моніторинг потребує спостережуваності: здатності фіксувати те, що зробила система, перетворювати це на сигнали й передавати їх людям або автоматизованим системам нагляду. Іншими словами, нам потрібно знати, що зробив агент і чому він це зробив. І як показує наше нещодавнє дослідження, сучасні фреймворки агентів — програмне забезпечення, на якому працюють агенти, — не генерують надійним чином критично важливі записи спостережуваності, необхідні для безпечного розгортання агентів.

Агенти створюють нові типи проблем, яких сама лише генеративна ШІ не має. Вони успадковують непередбачуваність великих мовних моделей, на яких побудовані, але якщо система генеративної ШІ створює один результат, на основі якого діє людина, то агент виконує довші завдання: планує, обирає інструменти, запускає субагентів і здійснює дії. Тож траєкторія агента може формуватися безліччю різних способів, і жодні тести до запуску не здатні повністю передбачити ризики. Це робить спостереження за агентами під час їхньої роботи ще складнішим і ще важливішим.

Разом із колегами з академічних кіл, громадянського суспільства та індустрії ми дослідили чотири найпоширеніші фреймворки агентів, щоб з’ясувати, які сигнали вони насправді видають. Ми виявили значні прогалини, через які було важко досягати ключових цілей безпеки, таких як виявлення порушень політик, несанкціонованих дій і навіть помилок людського нагляду. Бракувало важливих вимог до спостережуваності — зокрема ідентифікаторів агентів, які зберігаються з часом, і записів про те, які люди схвалювали завдання агентів. Через це було важко визначити, які агенти що зробили, або оцінити, чи здійснювали вони несанкціоновані дії. 

Добра новина полягає в тому, що ці прогалини, щойно їх виявлено, можна усунути. Для цього потрібно почати зі збору двох типів записів: тих, що показують, що сталося під час роботи агента, і тих, що відображають, як агент ухвалював рішення. Записи про те, «що сталося», ідентифікують агента, водночас зберігаючи приватність, і фіксують, як втручалися люди та чи змінювалися дозволи або «пам’ять» агента, тоді як записи про «рішення» показують міркування агента та рівень його впевненості у здійснених діях.

Для прикладу візьмімо агентів, які обробляють іпотечні кредити банку. Система аналізує заявку й рекомендує відхилити її, після чого кредитний менеджер-людина затверджує це рішення. Під час подальшого аудиту або навіть у реальному часі банк чи регулятор повинні мати змогу відтворити, який агент ухвалив рішення, який працівник його схвалив і скільки часу вони на це витратили. Банк також має проаналізувати записи про те, як агент дійшов рішення про відмову, щоб переконатися, що він не використовував заборонену інформацію, наприклад відомості про район, у якому живе заявник.

Записування «того, що сталося» і «як агент ухвалив рішення» потребує різних підходів, але обидва є здійсненними. Нинішня відсутність записів про «те, що сталося» здебільшого є проблемою програмної інфраструктури, яку можна вирішити за допомогою OpenTelemetry — відкритого стандарту спостережуваності, який підтримують інженери з усієї індустрії, а також фреймворки агентів, що його впроваджують.

OpenTelemetry створила робочу групу, яка розробляє спільні формати для трасування агентів, але вони ще не були остаточно затверджені. Група має терміново включити стандарти для збереження сталої ідентичності агента, а також для фіксації втручань людей і змін у дозволах або пам’яті агентів. Це слід зробити до того, як ці системи зможуть масштабуватися, водночас приділивши увагу наслідкам для приватності, пов’язаним з ідентифікатором агента, який веде до реальних людей.

Зберігати записи про те, «як агенти ухвалювали рішення», складніше. Це питання порушує відкриті дослідницькі проблеми для постачальників моделей і дослідників: чи відображає покрокове міркування, яке демонструє модель і яке називають ланцюжком міркувань, те, як модель насправді ухвалила рішення? І чи маємо ми надійні способи виміряти, наскільки агент упевнений у цьому рішенні? На ці питання потрібно відповісти, перш ніж хтось встановлюватиме стандарти використання таких записів спостережуваності.

Жодна окрема організація чи галузь не може самостійно усунути прогалини у спостережуваності, але разом вони можуть підтримати інфраструктуру, необхідну для запобігання небезпечним інцидентам і забезпечення безпеки. 

Розробники ШІ, які створюють фреймворки агентів, зокрема OpenAI, Anthropic, CrewAI та LangChain, повинні інтегрувати телеметричні сигнали, що фіксують сталу ідентичність агента, будь-які втручання людей і будь-які зміни в дозволах та пам’яті агента. Водночас підприємства, які впроваджують ці фреймворки агентів, відіграють важливу роль; підприємства в регульованих галузях, як-от банки та лікарні, можуть тиснути на розробників агентів, щоб ті надавали відсутні записи спостережуваності там, де стандарти ще не існують.

Підприємства також мають визначити політики, дозволи та ролі, які встановлюють, що агенти можуть безпечно робити, оскільки сама телеметрія не здатна оцінити, чи порушили агенти конкретні правила. Нарешті, регулятори та інститути стандартизації ШІ повинні визначити записи спостережуваності, необхідні для розгортання ШІ у сферах із високими ризиками, залишивши технічні деталі індустрії. Ми вже бачимо перші ознаки поступу в цьому напрямі: ініціатива NIST зі стандартів для агентів у США працює над ідентичністю агентів — однією з найбільш помітних прогалин, виявлених у нашому дослідженні. 

Жоден банк не дозволив би тисячі працівників без бейджів вільно працювати з рахунками клієнтів, сподіваючись розібратися, що сталося, коли щось піде не так. Але саме так ми впроваджуємо агентів ШІ. Зробити їхню поведінку спостережуваною — це перший крок до виправлення ситуації.  А створивши регуляторну та політичну екосистему, яка дає змогу діяти на основі побаченого, ми зможемо притягувати організації до відповідальності.  До того часу кожне завдання, яке ми передаємо агенту, передає йому також частину нашої дієздатності.

Мадхуліка Шрікумар — керівниця програми безпеки ШІ в Partnership on AI, глобальному неприбутковому партнерстві провідних представників індустрії, академічних кіл і громадянського суспільства, яке розвиває найкращі практики управління ШІ.

Клер Лейбовіц — директорка з питань ШІ, довіри та суспільства в Partnership on AI, а також докторантка Оксфордського університету.