Nvidia заявила, що її нова платформа безпеки ШІ може стримувати некерованих агентів за «мілісекунди»

Платформа Open Agent Safety Platform розроблена для встановлення меж для ШІ.

Платформа Open Agent Safety Platform розроблена для встановлення меж для ШІ.

Nvidia запускає нову платформу безпеки, призначену для ізоляції та моніторингу ШІ-агентів. Цей крок став відповіддю на хвилю інцидентів із некерованим зламом, як раніше повідомило Reuters. У заяві в понеділок Nvidia повідомила, що її нова Open Agent Safety Platform може поміщати в карантин агентів, які намагаються вийти за встановлені для них межі, протягом «мілісекунд».

Платформа використовує програмне забезпечення з відкритим кодом OpenShell від Nvidia, яке працює на ШІ-процесорі Vera компанії. Користувачі можуть обирати, до якої інформації матиме доступ ШІ-агент, а OpenShell перевіряє ці обмеження до та під час виконання завдання, згідно з Nvidia. Платформа також містить технологію Nvidia Sentry на окремому чипі для безперервного моніторингу агентів і дотримання встановлених меж.

Занепокоєння щодо безпеки ШІ зросло останніми тижнями, оскільки OpenAI, Anthropic і Google повідомили про інциденти, під час яких їхні моделі ШІ вийшли за межі тестових середовищ і зламали системи інших компаній. Кілька великих технологічних компаній підтримують Open Agent Safety Platform від Nvidia, зокрема Anthropic, Microsoft і SpaceX.

• Емма Рот