Nvidia запускает новую платформу для обуздания вышедших из-под контроля ИИ-агентов

Пока не утихают споры о том, является ли недавняя череда случаев выхода ИИ-агентов из-под контроля шагом к AGI или более обычной инженерной проблемой, Nvidia предлагает собственный ответ на этот вопрос.

В понедельник генеральный директор Nvidia Дженсен Хуанг представил набор программных и аппаратных продуктов, которые добавляют независимые уровни защиты вокруг ИИ-агентов, чтобы они оставались в пределах своих тестовых сред, даже если попытаются из них выбраться.

Этот релиз последовал за чередой инцидентов со взломами, связанными с моделями ИИ Anthropic, Google, OpenAI и Meta, которые обходили средства защиты, покидали тестовые среды и получали доступ к реальным системам. Первый и наиболее заметный пример произошел этим летом, когда агенты OpenAI взломали Hugging Face при попытке выполнить задачу в сфере кибербезопасности. И на этом инциденты не заканчиваются — OpenAI опубликовала новый сайт, посвященный сообщениям о выходящих из-под контроля ИИ-агентах компании.

В понедельник в интервью CNBC Хуанг заявил, что новая Nvidia Open Agent Safety Platform предотвратила бы эти взломы.

Nvidia, заработавшая десятки миллиардов долларов на продаже ИИ-лабораториям чипов GPU и CPU, не поддерживает замедление разработки или введение новых отраслевых норм для решения проблемы безопасности. По мнению компании, решение заключается в том, чтобы вынести часть средств защиты за пределы самого агента, создав постоянного и независимого охранника, который будет держать ИИ-агентов под контролем.

«Огромный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ, — заявил Хуанг. — По мере того как мы продолжаем исследовать передовые возможности ИИ, мы должны ускорять исследования в области безопасности ИИ. Безопасность и защищенность требуют комплексного инжиниринга на всех уровнях стека».

Новая Nvidia Open Agent Safety Platform объединяет OpenShell — программное обеспечение с открытым исходным кодом для контроля доступа агентов во время работы — с Sentry, независимой системой мониторинга, работающей на модулях обработки данных Nvidia BlueField-4. Nvidia утверждает, что размещение Sentry на отдельном процессоре — а не на CPU или GPU, где работает ИИ-агент, — обеспечивает изолированный обзор его активности.

OpenShell не является новинкой: компания представила это программное обеспечение в марте. Однако именно это сочетание, как считает Nvidia, обеспечит необходимый уровень защиты, позволяющий отрасли продолжать развиваться. OpenShell создает программную границу вокруг агента, а Sentry добавляет еще одну линию обороны на аппаратном уровне, которая, по словам компании, будет непрерывно отслеживать поведение и «изолировать агентов, пытающихся выйти за пределы своих границ, за миллисекунды».

Nvidia перечислила десятки компаний, присоединившихся к инициативе и использующих платформу с открытым исходным кодом, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI среди участвующих компаний не указана.

В понедельник в интервью CNBC Хуанг рассказал, что работа над этой инициативой началась год назад после представления OpenClaw — операционной системы для агентов, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw — платформу ИИ-агентов корпоративного уровня и собственную версию OpenClaw со встроенными средствами защиты.

«Когда вы разворачиваете агента, каким бы умным он ни был, первое, что вы делаете, — лишаете его всех прав», — заявил Хуанг в интервью CNBC, позднее сравнив эти меры безопасности с тем, как в компаниях управляют обычными сотрудниками и даже руководителями.

Релиз Nvidia получил широкую поддержку со стороны тех, кто предупреждал, что замедление разработки может позволить Китаю обойти США в сфере ИИ.

Дэвид Сакс, основатель, венчурный инвестор, бывший куратор ИИ-политики Белого дома и сопредседатель Президентского совета советников по науке и технологиям, заявил, что анонс Nvidia напоминает: безопасность агентов — это инженерная проблема.

«Недавние случаи выхода из-под контроля не доказывали, что разработку необходимо остановить, — написал он в X. — Они доказывали, что песочница была слишком слабой. Среда выполнения была плохо спроектирована и настроена».