Nvidia пуска нова платформа за овладяване на неконтролируеми ИИ агенти

Докато бушува дебатът дали неотдавнашната вълна от неконтролируеми ИИ агенти е крачка към AGI или по-конвенционален инженерен проблем, Nvidia предлага свой собствен отговор на проблема.

В понеделник изпълнителният директор на Nvidia Дженсън Хуанг представи набор от софтуерни и хардуерни продукти, които добавят независими нива на сигурност около ИИ агентите, за да гарантират, че те ще останат в тестовите си среди, дори ако се опитат да избягат.

Представянето последва поредица от хакерски инциденти, свързани с ИИ модели на Anthropic, Google, OpenAI и Meta, които заобиколиха мерките за сигурност, за да избягат от тестовите си среди и да получат достъп до реални системи. Първият и най-значим пример се случи това лято, когато агенти на OpenAI проникнаха в Hugging Face , докато се опитваха да изпълнят задача по киберсигурност. А инцидентите продължават — OpenAI публикува нов сайт, посветен на докладите за неконтролируемото поведение на нейните ИИ агенти.

Хуанг заяви в понеделник по време на интервю за CNBC, че новата Nvidia Open Agent Safety Platform би предотвратила тези пробиви.

Nvidia, която е спечелила десетки милиарди долари от продажбата на своите GPU и CPU чипове на лаборатории за ИИ, не подкрепя забавянето на разработките или въвеждането на нови регулации в индустрията като решение на проблема със сигурността. Според компанията отговорът е някои мерки за сигурност да бъдат изнесени извън самия агент — като се създаде постоянен и независим охранител, който да държи ИИ агентите под контрол.

„Изключителният потенциал на ИИ за обществото ще бъде реализиран само ако решим проблема с безопасността на ИИ“, каза Хуанг в изявление. „Докато продължаваме да изследваме границите на възможностите на ИИ, трябва да ускорим откриването на решения на границата на безопасността на ИИ. Безопасността и сигурността изискват инженеринг на пълния технологичен стек.“

Новата Nvidia Open Agent Safety Platform комбинира OpenShell — нейния софтуер с отворен код за контролиране на достъпа на агентите по време на работа — със Sentry, независима система за мониторинг, която работи върху устройствата за обработка на данни BlueField-4 на Nvidia. Nvidia твърди, че поставянето на Sentry върху отделен процесор — вместо върху CPU или GPU, на който работи ИИ агентът — осигурява изолирана видимост върху активността на агента.

OpenShell не е нов продукт; компанията обяви софтуера през март. Но именно комбинацията според Nvidia ще осигури необходимото ниво на сигурност, за да може индустрията да продължи развитието си. OpenShell осигурява софтуерната граница около агента, докато Sentry добавя още една линия на защита на хардуерно ниво, която според компанията непрекъснато ще следи поведението и ще „поставя под карантина агентите, които се опитват да излязат извън границите си, за милисекунди“.

Nvidia посочи десетки компании, които са се присъединили към инициативата и ще използват платформата с отворен код, сред които Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI не е посочена като участваща компания.

Хуанг каза пред CNBC в интервю в понеделник, че работата по тази инициатива е започнала преди година след представянето на OpenClaw — операционна система за агенти, създадена от Питър Стайнбергер. През март Nvidia представи NemoClaw — платформа за ИИ агенти от корпоративен клас и собствена версия на OpenClaw, в която сигурността е вградена.

„Когато внедрявате агент, независимо колко е умен, първото нещо, което правите, е да му отнемете всичките права“, каза Хуанг по време на интервюто си за CNBC, като по-късно сравни тези мерки за сигурност с начина, по който компаниите управляват човешките служители и дори ръководителите.

Представянето на Nvidia получи широка подкрепа от онези, които предупредиха, че забавянето на разработките може да позволи на Китай да изпревари САЩ в областта на ИИ.

Дейвид Сакс, основател, рисков капиталист, бивш „цар“ на ИИ във Белия дом и съпредседател на Президентския съвет на съветниците по наука и технологии, заяви, че съобщението на Nvidia напомня, че безопасността на агентите е инженерен проблем.

„Неотдавнашните пробиви не бяха доказателство, че разработките трябва да спрат“, написа той в X. „Те бяха доказателство, че пясъчникът е бил твърде слаб. Средата за изпълнение е била зле проектирана и неправилно конфигурирана.“