OpenAI співпрацює з Nvidia над безпекою ШІ-агентів
Nvidia запустила Open Agent Safety Platform — консорціум, який підтримують понад 100 компаній і який має протидіяти некерованим ШІ-агентам. OpenAI не вказана серед публічних прихильників ініціативи, як і Amazon, Google та Apple, тоді як Anthropic приєдналася. Представник OpenAI повідомив, що компанія підтримує роботу Nvidia та співпрацює з нею у сфері безпеки агентів.
Ключовим компонентом платформи є OpenShell — програмне забезпечення з відкритим кодом, що створює ізольоване середовище й має не дозволяти агентам виходити за встановлені межі. Платформа також містить Nvidia Sentry, закриту функцію моніторингу для процесорів BlueField-4. Nvidia заявляє, що Sentry безперервно відстежує поведінку агентів і може миттєво їх вимикати, але цей апаратний рівень працює лише на обладнанні Nvidia. OpenShell можна адаптувати до інших чипів; серед прихильників є Arm та Intel.
Генеральний директор Hugging Face Clem Delangue сказав, що додана функція виявляє неправомірне використання дозволених сайтів, зокрема координацію через записи в репозиторії коду. OpenAI також розробляє власні засоби захисту й підтримує консорціум Defense Factory для обміну інформацією, до якого долучилися Anthropic, Amazon Web Services та Google.
Текст підготовлено ШІ Sakhanda Wire за матеріалом TechCrunch. Факти, цитати та повний контекст — в оригінальній статті нижче.