Microsoft заявляет, что ИИ-агенты подобны внутренним угрозам, поскольку «передовым моделям нельзя доверять»

В понедельник Microsoft представила новые функции безопасности, призванные защитить предприятия от растущей угрозы со стороны ИИ-агентов. Запуск состоялся на фоне того, что Microsoft продолжает предупреждать предприятия об опасностях ИИ и агентов.

Возможно, наиболее заметным нововведением стали Guardian Agents — новая функция, предназначенная для мониторинга ИИ-агентов, используемых компанией. Guardian Agents — часть Project Perception, продукта, представленного в июне.

Project Perception стал ответом Microsoft на мощные хакерские модели, такие как Mythos и Fable от Anthropic, а также систему OpenAI Daybreak для поиска уязвимостей в системе безопасности. Изначально Project Perception включал три класса агентов: «красную команду», которая действовала подобно хакерам и атаковала, «синюю команду», выявлявшую действия красной команды и оценивавшую найденные ею уязвимости, и «зелёную команду», которой поручалось их устранять.

Продукт создавался исходя из предположения, что ИИ-хакеры будут приходить извне компании. Однако в последнее время генеральный директор Microsoft Сатья Наделла предупреждает, что врагом ИИ могут оказаться сами агенты, которых предприятия внедрили и за использование которых платят, — подобно недобросовестному сотруднику, что иначе называется «внутренней угрозой».

Ранее в этом месяце в своём закрытом блоге Наделла предупредил, что пора перестать доверять поставщикам моделей ИИ, даже если они заверяют пользователей в безопасности своих агентных продуктов. Он хочет, чтобы предприятия внедряли отдельные системы, не контролируемые ИИ-лабораториями, для наблюдения за агентами, запускаемыми продуктами этих лабораторий, и управления ими.

«Мы внедряем эти сложные агентные системы и модели, предоставляя им доступ к нашим наиболее чувствительным данным и возможность выполнять от нашего имени критически важные действия!» — написал он. «Мы просто не можем переложить на кого-то ответственность за то, что интеллект делает от нашего имени. Заверения поставщика модели не освобождают нас от этой ответственности. … Иными словами, нам необходимо отделить поставку интеллекта от власти над ним».

Объявляя о Guardian Agents, глава подразделения безопасности Microsoft Айете Галло выразилась ещё прямолинейнее.

«К сожалению, передовым моделям, независимо от их происхождения, нельзя доверять», — написала она, добавив, что дело не в их злонамеренности или лёгкой уязвимости для взлома, а в их непредсказуемости. Их обучали выполнять задачи, а не следовать «организационным нормам или суждениям».

Кроме того, им часто передают ключи от всего королевства, предоставляя доступ к данным и инструментам, которые могут причинить серьёзный вред.

Решение Microsoft одновременно удивляет и служит её собственным интересам. Удивительно здесь то, что Microsoft хорошо известна своей тесной связью с OpenAI и Anthropic, в обе компании она инвестировала. OpenAI также является одним из её крупнейших облачных клиентов, а у Microsoft есть собственная ИИ-лаборатория, разрабатывающая модели. Таким образом, Microsoft сеет недоверие к некоторым собственным деловым интересам.

Собственные интересы Microsoft заключаются в том, что она хочет, чтобы предприятия покупали продукты для защиты агентов у неё, облачного провайдера, а не у Anthropic и OpenAI. Но если оставить в стороне конфликт интересов, логика компании убедительна. Программное обеспечение, контролирующее поведение агентов, должно быть отделено от поставщиков агентов — подобно тому, как аудиторы должны быть независимы от организаций, которые они проверяют.

Или, как выразился Наделла: «Нам необходимо отделить поставку интеллекта от власти над ним».

Теперь Microsoft использует эту коммерческую возможность по-разному. В дополнение к Guardian Agents компания добавила в свой продукт Microsoft Defender функцию обнаружения агентов, которая способна находить до 60 типов агентов, приносимых сотрудниками на рабочее место, включая Claude Code, Codex и OpenClaw. Компания также добавила функции, ограничивающие доступ агентов к данным и системам, а также динамически корректирующие их разрешения в зависимости от задачи. В частности, предусмотрено обязательное одобрение человека, если агент, по-видимому, принимает рискованные решения.

Представление об агентах как о ненадёжных инсайдерах распространяется и во всей отрасли.

Microsoft стала одним из первых участников новой Open Agent Safety Platform компании Nvidia, которая заручилась поддержкой более 100 других технологических компаний. Платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их поведение с помощью аппаратных средств, работая примерно как аварийный выключатель. Это последовало за объявлением Microsoft о новых ПК Surface Laptop Ultra, созданных для агентов, которые работают на чипах Nvidia и оснащены встроенными средствами защиты и управления агентами.