Nvidia запускає нову платформу для приборкання неконтрольованих ШІ-агентів

У той час як точаться запеклі дебати щодо того, чи є нещодавня хвиля неслухняних ШІ-агентів кроком до AGI, чи більш звичайною інженерною проблемою, Nvidia пропонує власну відповідь на цю проблему.

У понеділок генеральний директор Nvidia Дженсен Хуанг представив набір програмних і апаратних продуктів, які додають незалежні рівні безпеки навколо ШІ-агентів, щоб гарантувати їхнє перебування в межах тестових середовищ, навіть якщо вони намагатимуться з них вибратися.

Презентація відбулася після низки хакерських інцидентів за участю моделей ШІ від Anthropic, Google, OpenAI та Meta, які обходили засоби контролю безпеки, щоб залишити тестові середовища й отримати доступ до реальних систем. Перший і найпомітніший приклад стався цього літа, коли агенти OpenAI зламали Hugging Face під час спроби виконати завдання з кібербезпеки. І такі випадки продовжують виникати — OpenAI опублікувала новий сайт, присвячений повідомленням про те, що її ШІ-агенти виходять з-під контролю.

У понеділок під час інтерв’ю CNBC Хуанг заявив, що нова Nvidia Open Agent Safety Platform запобігла б цим зламам.

Nvidia, яка заробила десятки мільярдів доларів на продажу своїх графічних і центральних процесорів лабораторіям ШІ, не підтримує уповільнення розробки або запровадження нових правил для галузі як способу розв’язання проблеми безпеки. На думку компанії, відповідь полягає у винесенні частини засобів контролю безпеки за межі самого агента — створенні постійного й незалежного охоронця, який триматиме ШІ-агентів під контролем.

«Надзвичайний потенціал ШІ для суспільства буде реалізовано лише за умови, що ми розв’яжемо проблему безпеки ШІ», — заявив Хуанг. «Продовжуючи досліджувати передовий край можливостей ШІ, ми маємо прискорити дослідження на передовому краї безпеки ШІ. Безпека й захищеність потребують комплексної інженерії на всіх рівнях стеку».

Нова Nvidia Open Agent Safety Platform поєднує OpenShell — її програмне забезпечення з відкритим кодом для контролю доступу агентів під час роботи — із Sentry, незалежною системою моніторингу, яка працює на процесорах обробки даних Nvidia BlueField-4. Nvidia стверджує, що розміщення Sentry на окремому процесорі — а не на центральному чи графічному процесорі, де працює ШІ-агент, — забезпечує ізольований огляд діяльності агента.

OpenShell — не новинка; компанія оголосила про це програмне забезпечення в березні. Але саме поєднання цих компонентів, вважає Nvidia, забезпечить рівень безпеки, необхідний для продовження розвитку галузі. OpenShell створює програмну межу навколо агента, тоді як Sentry додає ще одну лінію захисту на апаратному рівні, яка, за словами компанії, безперервно відстежуватиме поведінку та «ізолюватиме агентів, які намагаються вийти за межі своїх обмежень, за мілісекунди».

Nvidia назвала десятки компаній, які долучилися до підтримки ініціативи та використовуватимуть платформу з відкритим кодом, зокрема Anthropic, Arm, Microsoft, Oracle і SpaceX. OpenAI не вказана серед компаній-учасниць.

У понеділок в інтерв’ю CNBC Хуанг розповів, що робота над цією ініціативою розпочалася рік тому після представлення OpenClaw — операційної системи для агентів, створеної Пітером Штайнбергером. У березні Nvidia випустила NemoClaw — платформу ШІ-агентів корпоративного рівня та власну версію OpenClaw із вбудованими засобами безпеки.

«Коли ви розгортаєте агента, незалежно від того, наскільки він розумний, перше, що ви робите, — забираєте всі його права», — сказав Хуанг під час інтерв’ю CNBC, пізніше порівнявши ці заходи безпеки з тим, як у компаніях керують доступом людей-працівників і навіть керівників.

Презентацію Nvidia широко підтримали ті, хто застерігав, що уповільнення розробки може дозволити Китаю випередити США у сфері ШІ.

Девід Сакс, засновник, венчурний капіталіст, колишній «цар» ШІ Білого дому та співголова Президентської ради радників з питань науки й технологій, заявив, що оголошення Nvidia нагадує: безпека агентів є інженерною проблемою.

«Нещодавні випадки виходу за межі не були доказом того, що розробку потрібно зупинити», — написав він у X. «Вони були доказом того, що пісочниця була надто слабкою. Середовище виконання було погано спроєктоване й неправильно налаштоване».