Nvidia заявила, что ее новая платформа безопасности ИИ может сдерживать вышедших из-под контроля агентов за «миллисекунды»

Платформа Open Agent Safety Platform предназначена для обеспечения границ ИИ.

Платформа Open Agent Safety Platform предназначена для обеспечения границ ИИ.

Nvidia запускает новую платформу безопасности, предназначенную для локализации и мониторинга ИИ-агентов. Этот шаг стал ответом на волну инцидентов со взломами, осуществленными вредоносными агентами, о чем ранее сообщало агентство Reuters. В объявлении в понедельник Nvidia заявляет, что ее новая Open Agent Safety Platform может изолировать агентов, пытающихся выйти за установленные для них границы, в течение «миллисекунд».

Платформа использует программное обеспечение с открытым исходным кодом OpenShell от Nvidia, которое работает на ИИ-процессоре Vera компании. Пользователи могут выбирать, к какой информации получит доступ ИИ-агент, а OpenShell проверяет эти ограничения до и во время выполнения задачи, сообщает Nvidia. Платформа также включает технологию Nvidia Sentry на отдельном чипе для непрерывного мониторинга агентов и обеспечения соблюдения границ.

В последние недели выросла обеспокоенность безопасностью ИИ: OpenAI, Anthropic и Google сообщили об инцидентах, в которых их модели ИИ вышли за пределы тестовых сред и взломали другие компании. Несколько крупных технологических компаний поддерживают Open Agent Safety Platform от Nvidia, в том числе Anthropic, Microsoft и SpaceX.

• Эмма Рот