Ето защо OpenAI отсъства от общосекторната инициатива на Nvidia за спиране на неконтролираните AI агенти

Когато Nvidia обяви в понеделник нов консорциум от повече от 100 компании, посветен на решаването на проблема с неконтролируемите AI агенти, едно име забележимо липсваше: OpenAI.

Макар че OpenAI не беше единственият представител на големите технологични компании, който не се присъедини — Amazon, Google и Apple също не са част от него — отсъствието ѝ беше най-очевидно, особено защото Anthropic е сред поддръжниците.

Въпреки че OpenAI не е поела публичен ангажимент към консорциума, което вероятно означава, че всяка компания ще използва и продава някаква версия на технологията и ще допринася с функции към проекта, говорител на OpenAI заяви пред TechCrunch, че компанията подкрепя работата на Nvidia.

Новото начинание, наречено Open Agent Safety Platform на Nvidia, представлява опит на Nvidia да разпространи собствената си, до голяма степен базирана на отворен код, технология за сигурност на AI агентите в цялата AI екосистема като пряк отговор на продължаващите инциденти с неконтролируеми AI агенти, за които водещи лаборатории като Anthropic и OpenAI съобщиха.

Главният изпълнителен директор на Nvidia Дженсън Хуанг нарича неконтролируемите AI системи обикновен инженерен проблем , който може да бъде решен като всеки друг технологичен въпрос. Open Agent Safety Platform е начинът, по който Хуанг подкрепя думите си с действия.

OpenAI работи с Nvidia по сигурността на агентите, включително по един от ключовите софтуерни компоненти на тази платформа: OpenShell. OpenShell е софтуер с отворен код, който създава пясъчник, специално проектиран да не позволява на агентите да избягат от него.

Макар че все още е любопитно защо OpenAI просто не е станала поддръжник на инициативата, както направи нейният вечен съперник Anthropic, фактът, че водещата AI лаборатория подкрепя начинанието, е добра новина.

Това е така, защото именно OpenAI би могла да извлече полза от тази технология, поне според основателя и главен изпълнителен директор на Hugging Face Клем Деланг (който по-рано този месец продаде компанията си на Nvidia за 12,9 милиарда долара).

„От това, което знаем (приемете го с известна доза недоверие, необходима е много повече прозрачност!), ако @OpenAI беше използвала това върху собствените си агенти, които ни атакуваха, щеше да ги засече преди нас!“ — написа Деланг.

Деланг заяви, че Hugging Face вече е допринесла с функция към Open Agent Safety Platform, която ще открива и изключва AI агенти, използващи уебсайтове, които имат право да посещават, но го правят по неоторизиран начин. Например тази функция ще се задейства, ако агентите заобикалят защитните си механизми и координират атака, като си пишат бележки един на друг в хранилище за хостинг на код с отворен код.

Това е един от начините, по които OpenAI заяви, че нейната заблудила се група от агенти е координирала атаката си срещу Hugging Face.

Но има и друга причина, поради която някои от тези големи имена, включително OpenAI, може да не искат публично да се ангажират с усилията на Nvidia. За да се използва цялата система, е необходим хардуерен компонент, който не е софтуер с отворен код, остава собственически и може да бъде внедрен единствено върху хардуера на Nvidia.

Open Agent Safety Platform не предлага просто пясъчник. Тя също така налага контрол върху поведението на агентите на хардуерно ниво, където агентите не могат да разберат, че са наблюдавани. (Някои AI модели и агенти лъжат и се преструват, че спазват правилата, когато знаят, че са наблюдавани.)

Хардуерната част за наблюдение разчита на Nvidia Sentry — собствена технология, която работи върху специални процесори на Nvidia, наречени процесорни модули за обработка на данни BlueField-4. Nvidia обещава, че Sentry непрекъснато следи поведението на агентите от тези процесори и може незабавно да ги изключи.

Макар че хардуерното решение очевидно е добра идея, това означава, че Open Agent Safety Platform не е напълно чист проект с отворен код. То позволява на Nvidia да гарантира, че това решение винаги работи най-добре върху нейния собствен хардуер. Всъщност Nvidia заяви, че за тези, които вече изпълняват работни натоварвания върху най-новия ѝ хардуер, внедряването на Open Agent Safety Platform е лесна софтуерна актуализация.

Въпреки това конкуренти на Nvidia, включително Arm и Intel, се присъединиха като поддръжници на Open Agent Safety Platform, защото пясъчникът OpenShell може да бъде модифициран така, че да работи с други чипове и хардуер. Освен това Nvidia споделя референтни проекти за цялостната софтуерно-хардуерна концепция.

Всичко това прави отсъствието на OpenAI още по-забележимо.

Ясно е, че OpenAI вижда в сигурността на AI възможност за независимост от основния си инвеститор Nvidia, както и шанс да покаже собствено лидерство. Това е така дори въпреки факта, че именно AI агентите на OpenAI разтърсиха индустрията с инцидента с Hugging Face.

Например компанията разработва собствени защитни механизми за своите изследвания и продукти и разкрива най-тежкия инцидент, който установи.Междувременно OpenAI разполага със собствен консорциум за киберсигурност, наречен Defense Factory, за споделяне на информация. Сред присъединилите се в подкрепа на тази идея са Anthropic, Amazon Web Services и Google — много от имената, които не се присъединиха към ориентирания към технологиите подход на Nvidia.

И ако трябва да сме честни, известна доза страх е полезна за бизнеса. OpenAI усилено превръща киберсигурността в корпоративна услуга — от собствения си модел, ориентиран към киберсигурността, Daybreak, до разрастваща се мрежа от партньори, които предприятията могат да наемат за внедряване на AI сигурност.