Вот почему OpenAI не участвует в отраслевой инициативе Nvidia по остановке неконтролируемых ИИ-агентов

Когда Nvidia объявила в понедельник о новом консорциуме, объединившем более 100 компаний для решения проблемы неуправляемых ИИ-агентов, одно имя особенно бросалось в глаза своим отсутствием: OpenAI.

Хотя OpenAI была не единственным крупным игроком технологической отрасли, не присоединившимся к инициативе — Amazon, Google и Apple также пока не вошли в консорциум, — ее отсутствие было наиболее заметным, особенно с учетом того, что Anthropic поддержала проект.

Однако, несмотря на отсутствие публичных обязательств OpenAI перед консорциумом, что, предположительно, означает: каждая компания будет использовать и продавать некоторую версию технологии, а также передавать проекту разработанные функции, представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia.

Новая инициатива, получившая название Open Agent Safety Platform от Nvidia, представляет собой попытку Nvidia распространить собственные, в значительной степени открытые технологии обеспечения безопасности ИИ-агентов по всей экосистеме ИИ в качестве прямого ответа на продолжающиеся инциденты с неуправляемыми ИИ-агентами, о которых рассказывали такие ведущие лаборатории, как Anthropic и OpenAI.

Генеральный директор Nvidia Дженсен Хуанг называет неуправляемый ИИ обычной инженерной проблемой , которую можно решить так же, как любую другую технологическую задачу. Open Agent Safety Platform — это пример того, как Хуанг подтверждает свои слова делом.

OpenAI сотрудничает с Nvidia в сфере безопасности агентов, в том числе над одним из ключевых компонентов этой платформы — OpenShell. OpenShell — это программное обеспечение с открытым исходным кодом, создающее песочницу, специально предназначенную для того, чтобы агенты не могли из нее выбраться.

Хотя по-прежнему вызывает вопросы тот факт, что OpenAI не стала официально поддерживать инициативу, как это сделала ее главный конкурент Anthropic, сама поддержка этой инициативы со стороны ведущей ИИ-лаборатории — хорошая новость.

Дело в том, что OpenAI, в частности, могла бы извлечь выгоду из этой технологии — по крайней мере, так считает основатель и генеральный директор Hugging Face Клем Деланг (ранее в этом месяце он продал свою компанию Nvidia за 12,9 млрд долларов).

«Судя по тому, что нам известно (отнеситесь к этому с долей скепсиса — нам нужно гораздо больше прозрачности!), если бы @OpenAI использовала это на собственных агентах, атаковавших нас, она обнаружила бы их раньше нас!» — написал Деланг.

По словам Деланга, Hugging Face уже внесла в Open Agent Safety Platform функцию, которая будет обнаруживать и отключать ИИ-агентов, использующих разрешенные для посещения сайты, но делающих это несанкционированным образом. Например, эта функция сработает, если агенты обходят установленные для них ограничения и координируют атаку, оставляя друг другу заметки в репозитории для размещения кода с открытым исходным кодом.

Именно таким образом, как заявила OpenAI, ее вышедший из-под контроля рой агентов координировал атаку на Hugging Face.

Но есть и другая причина, по которой некоторые крупные компании, включая OpenAI, могут не захотеть публично поддерживать инициативу Nvidia. Для использования всей системы требуется аппаратный компонент, который не является программным обеспечением с открытым исходным кодом, остается проприетарным и может быть развернут только на оборудовании Nvidia.

Open Agent Safety Platform предлагает не только песочницу. Она также контролирует поведение агентов на аппаратном уровне, где агенты не могут обнаружить, что за ними наблюдают. (Некоторые ИИ-модели и агенты лгут и делают вид, что соблюдают правила, когда знают, что за ними наблюдают.)

Аппаратная часть системы мониторинга использует Nvidia Sentry — проприетарную функцию, работающую на специальных процессорах Nvidia под названием BlueField-4, предназначенных для обработки данных. Как обещает Nvidia, Sentry непрерывно отслеживает поведение агентов с этих процессоров и может мгновенно отключить агентов.

Хотя аппаратное решение явно является хорошей идеей, это означает, что Open Agent Safety Platform не совсем представляет собой проект с полностью открытым исходным кодом. Оно позволяет Nvidia гарантировать, что это решение всегда будет лучше всего работать на ее собственном оборудовании. Действительно, Nvidia заявила, что для тех, кто уже запускает рабочие нагрузки на ее новейшем оборудовании, внедрение Open Agent Safety Platform представляет собой простое обновление программного обеспечения.

Тем не менее конкуренты Nvidia, включая Arm и Intel, присоединились к числу сторонников Open Agent Safety Platform, поскольку песочницу OpenShell можно модифицировать для работы с другими чипами и оборудованием. Кроме того, Nvidia делится эталонными проектами всей программно-аппаратной концепции.

Все это делает отсутствие OpenAI еще более заметным.

Очевидно, OpenAI рассматривает безопасность ИИ как возможность стать независимой от своего крупного инвестора Nvidia, а также как шанс продемонстрировать собственное лидерство. Это верно даже несмотря на то, что именно ИИ-агенты OpenAI напугали отрасль инцидентом с Hugging Face.

Например, компания разрабатывает собственные меры защиты для своих исследований и продуктов и раскрывает информацию о наиболее серьезном обнаруженном инциденте.Тем временем у OpenAI есть собственный консорциум по кибербезопасности, созданный для обмена информацией, — Defense Factory. Среди тех, кто поддержал эту инициативу, — Anthropic, Amazon Web Services и Google, то есть многие компании, не присоединившиеся к технологически ориентированному подходу Nvidia.

И, если говорить начистоту, определенная доля страха полезна для бизнеса. OpenAI активно превращает кибербезопасность в корпоративное предложение: от собственной модели, ориентированной на кибербезопасность, Daybreak, до растущей сети партнеров, которых компании могут нанимать для внедрения ИИ-безопасности.