Microsoft заявява, че AI агентите са като вътрешни заплахи, тъй като „фронтирните модели не могат да бъдат надеждни“

В понеделник Microsoft представи нови функции за сигурност, предназначени да защитят предприятията от нарастващата заплаха от страна на ИИ агентите. Представянето идва в момент, когато Microsoft продължава да предупреждава предприятията за опасностите от ИИ и агентите.

Може би най-забележителното допълнение са Guardian Agents — нова функция, предназначена да наблюдава ИИ агентите, използвани от дадена компания. Guardian Agents е част от Project Perception — продукт, представен през юни.

Project Perception беше отговорът на Microsoft на мощни модели за хакерски атаки като Mythos и Fable на Anthropic и системата на OpenAI за сканиране на уязвимости в сигурността Daybreak. Първоначално Project Perception стартира с три класа агенти: „червен екип“, който действаше като хакери и атакуваше, „син екип“, който откриваше червения екип и оценяваше намерените от него уязвимости, и „зелен екип“, натоварен с отстраняването им.

Продуктът беше разработен с презумпцията, че ИИ хакерите ще идват извън компанията. Напоследък обаче главният изпълнителен директор на Microsoft Сатя Надела предупреждава, че врагът с ИИ може да са именно агентите, които предприятията са внедрили и за които плащат — подобно на нелоялен човешки служител, известен още като „вътрешна заплаха“.

По-рано този месец в личния си блог Надела предупреди, че е време да спрем да се доверяваме на доставчиците на ИИ модели, дори ако те дават уверения за безопасност и сигурност на своите агентни продукти. Той иска предприятията да внедрят отделни системи, които не се контролират от ИИ лабораториите, за да наблюдават и контролират агентите, стартирани от продуктите на тези ИИ лаборатории.

„Внедряваме тези сложни агентни системи и модели, предоставяме им достъп до най-чувствителните си данни и им даваме възможността да предприемат критични за мисията действия от наше име!“, написа той. „Просто не можем да възложим на външен изпълнител отговорността за това какво прави интелектът от наше име. Уверенията на доставчика на модела не ни освобождават от тази отговорност. … С други думи, трябва да отделим предлагането на интелект от властта над него.“

При обявяването на Guardian Agents ръководителката на бизнеса със сигурността на Microsoft Хаете Гало беше още по-пряма.

„За съжаление, водещите модели, независимо от произхода им, не могат да бъдат на­деждни“, написа тя, като добави, че причината не е в това, че са злонамерени или лесни за хакване, а че са непредсказуеми. Те са обучени да изпълняват задачи, а не да следват „организационни норми или преценка“.

Освен това често им се предоставят ключовете към кралството — достъп до данни и инструменти, които могат да причинят сериозни вреди.

Решението на Microsoft е едновременно изненадващо и обслужващо собствените му интереси. Изненадващото е, че Microsoft е прочуто близък с OpenAI и Anthropic, като е инвестирал и в двете компании. OpenAI също така е един от най-големите му облачни клиенти, а Microsoft има собствена ИИ лаборатория, която разработва модели. Така Microsoft насажда недоверие към някои от собствените си бизнес интереси.

Обслужващата собствените му интереси страна е, че Microsoft иска предприятията да купуват продукти за сигурност на агентите от него — доставчика на облачни услуги — вместо от Anthropic и OpenAI. Но независимо от противоречивите интереси, логиката му е разумна. Софтуерът, който наблюдава поведението на агентите, трябва да е отделен от доставчиците на агентите, точно както одиторите трябва да са независими от организациите, които одитират.

Или както казва Надела: „Трябва да отделим предлагането на интелект от властта над него.“

Сега Microsoft се възползва от тази бизнес възможност по различни начини. В допълнение към Guardian Agents компанията добави функция за откриване на агенти към своя продукт Microsoft Defender, която може да намира до 60 вида агенти, използвани от служителите на работното място, включително Claude Code, Codex и OpenClaw. Тя добави и функции, които ограничават достъпа на агентите до данни и системи и динамично коригират разрешенията им в зависимост от задачата. Това включва изискване за човешко одобрение, ако изглежда, че даден агент взема рискови решения.

Идеята за агентите като ненадеждни вътрешни лица се утвърждава и в по-широката индустрия.

Microsoft беше сред първоначалните членове на новата Open Agent Safety Platform на Nvidia, която получи подкрепата на повече от 100 други технологични компании. Платформата изолира агентите в защитени среди и може да наблюдава и спира поведението им чрез хардуер, функционирайки донякъде като авариен прекъсвач. Това следва съобщението на Microsoft за новите компютри Surface Laptop Ultra, създадени за агенти, които работят с чипове на Nvidia и имат вградени функции за сигурност и контрол на агентите.