Microsoft заявляє, що ШІ-агенти схожі на внутрішні загрози, оскільки «передовим моделям не можна довіряти»

У понеділок Microsoft представила нові функції безпеки, покликані захистити підприємства від зростаючої загрози з боку ШІ-агентів. Запуск відбувся на тлі того, що Microsoft продовжує попереджати підприємства про небезпеки ШІ та агентів.

Мабуть, найпомітнішим нововведенням є Guardian Agents — нова функція, призначена для моніторингу ШІ-агентів, які використовує компанія. Guardian Agents є частиною Project Perception — продукту, представленого в червні.

Project Perception був відповіддю Microsoft на потужні хакерські моделі, як-от Mythos і Fable від Anthropic, а також систему сканування вразливостей безпеки Daybreak від OpenAI. Спочатку Project Perception запустив три класи агентів: «червону команду», яка діяла як хакери й атакувала; «синю команду», яка виявляла «червону команду» та оцінювала знайдені нею вразливості; і «зелену команду», якій доручили їх виправляти.

Продукт розробляли, виходячи з припущення, що ШІ-хакери прийдуть іззовні компанії. Але останнім часом генеральний директор Microsoft Сатья Наделла попереджає, що ворогом у сфері ШІ можуть бути самі агенти, яких підприємства розгорнули й за яких платять, — так само, як нечесний працівник, що в іншому разі називається «внутрішньою загрозою».

На початку цього місяця у своєму приватному блозі Наделла попередив, що настав час припинити довіряти постачальникам моделей ШІ, навіть якщо вони запевняють у безпеці своїх агентних продуктів. Він хоче, щоб підприємства впроваджували окремі системи, не контрольовані лабораторіями ШІ, для нагляду за агентами, запущеними продуктами цих лабораторій, і контролю над ними.

«Ми розгортаємо ці складні агентні системи й моделі, надаючи їм доступ до наших найчутливіших даних і можливість виконувати від нашого імені критично важливі для місії дії!» — написав він. «Ми просто не можемо передати на аутсорсинг відповідальність за те, що робить від нашого імені інтелект. Запевнення постачальника моделі не звільняють нас від цієї відповідальності. … Іншими словами, нам потрібно відокремити постачання інтелекту від повноважень щодо нього».

Анонсуючи Guardian Agents, керівниця бізнесу Microsoft у сфері безпеки Гаєте Галло була ще прямолінійнішою.

«На жаль, передовим моделям, незалежно від їхнього походження, не можна довіряти», — написала вона, додавши, що причина не в їхній зловмисності чи легкості злому, а в їхній непередбачуваності. Їх навчали виконувати завдання, а не дотримуватися «організаційних норм чи принципів ухвалення рішень».

До того ж їм часто надають ключі від усього королівства — доступ до даних та інструментів, які можуть завдати серйозної шкоди.

Рішення Microsoft водночас дивує і відповідає її власним інтересам. Дивовижно те, що Microsoft відома своєю близькістю до OpenAI та Anthropic, інвестувавши в обидві компанії. OpenAI також є одним із її найбільших хмарних клієнтів, а Microsoft має власну лабораторію ШІ, яка розробляє моделі. Отже, Microsoft сіє недовіру до частини власних бізнес-інтересів.

Власний інтерес полягає в тому, що Microsoft хоче, аби підприємства купували продукти безпеки для агентів у неї, хмарного провайдера, а не в Anthropic та OpenAI. Але якщо відкласти суперечливі інтереси вбік, її логіка є обґрунтованою. Програмне забезпечення, яке відстежує поведінку агентів, має бути незалежним від постачальників агентів — так само, як аудитори мають бути незалежними від організацій, які вони перевіряють.

Або, як висловився Наделла: «Нам потрібно відокремити постачання інтелекту від повноважень щодо нього».

Тепер Microsoft використовує цю бізнес-можливість у різні способи. Окрім Guardian Agents, компанія додала до свого продукту Microsoft Defender функцію виявлення агентів, здатну знаходити до 60 типів агентів, яких працівники приносять на робоче місце, зокрема Claude Code, Codex і OpenClaw. Вона також додала функції, що обмежують доступ агентів до даних і систем, а також динамічно регулюють їхні дозволи залежно від завдання. Це передбачає вимогу отримання схвалення людини, якщо агент, схоже, ухвалює ризиковані рішення.

Ця ідея про агентів як ненадійних внутрішніх працівників набирає популярності й у ширшій технологічній галузі.

Microsoft була одним із перших учасників нової Open Agent Safety Platform від Nvidia, яка заручилася підтримкою понад 100 інших технологічних компаній. Платформа ізолює агентів у захищених середовищах і може за допомогою апаратного забезпечення відстежувати та зупиняти їхню поведінку, функціонуючи приблизно як аварійний вимикач. Це сталося після оголошення Microsoft про нові комп’ютери Surface Laptop Ultra, створені для агентів, які працюють на чипах Nvidia та мають вбудовані засоби безпеки й контролю агентів.