Ось чому OpenAI не бере участі в загальногалузевій ініціативі Nvidia зі зупинення неконтрольованих ШІ-агентів

Коли Nvidia оголосила в понеділок про новий консорціум із понад 100 компаній, присвячений розв’язанню проблеми некерованих ШІ-агентів, одне ім’я особливо впадало у вічі своєю відсутністю: OpenAI.

Хоча OpenAI була не єдиним великим гравцем у сфері технологій, який не приєднався, — Amazon, Google і Apple також не стали учасниками, — її відсутність була найбільш очевидною, особливо з огляду на те, що Anthropic підтримала ініціативу.

Однак, попри відсутність публічної обіцянки OpenAI приєднатися до консорціуму, що, ймовірно, означає використання та продаж кожною компанією певної версії технології, а також внесення функцій у проєкт, представник OpenAI повідомив TechCrunch, що компанія підтримує роботу Nvidia.

Нову ініціативу, названу Nvidia Open Agent Safety Platform, Nvidia започаткувала, щоб поширити власні, переважно відкриті технології безпеки ШІ-агентів у всій екосистемі штучного інтелекту як пряму відповідь на випадки некерованих ШІ-агентів, про які розповіли такі провідні лабораторії, як Anthropic і OpenAI.

Генеральний директор Nvidia Дженсен Хуанг називає некерований ШІ звичайною інженерною проблемою, яку можна розв’язати так само, як і будь-яку іншу технологічну проблему. Open Agent Safety Platform — це втілення Хуангом власних слів у життя.

OpenAI працює з Nvidia над безпекою агентів, зокрема над одним із ключових компонентів цієї платформи — OpenShell. OpenShell — це програмне забезпечення з відкритим кодом, яке створює спеціально розроблене ізольоване середовище, що не дає агентам втекти.

Хоча досі дивно, що OpenAI просто не стала учасницею ініціативи, як це зробила її головна конкурентка Anthropic, сам факт підтримки цієї роботи провідною лабораторією ШІ є доброю новиною.

Це тому, що OpenAI, зокрема, могла б скористатися цією технологією — принаймні так вважає засновник і генеральний директор Hugging Face Клем Деланг (який на початку цього місяця продав свою компанію Nvidia за 12,9 мільярда доларів).

«Наскільки нам відомо (сприймайте це з недовірою — нам потрібно набагато більше прозорості!), якби @OpenAI використовувала це на власних агентах, які атакували нас, вона виявила б їх раніше за нас!» — написав Деланг.

Деланг повідомив, що Hugging Face вже додала до Open Agent Safety Platform функцію, яка виявлятиме та вимикатиме ШІ-агентів, що використовують дозволені для відвідування вебсайти, але роблять це несанкціонованими способами. Наприклад, ця функція спрацює, якщо агенти обходять встановлені для них обмеження та координують атаку, записуючи нотатки один одному у відкритому репозиторії для розміщення програмного коду.

Саме так, за словами OpenAI, її зграя агентів, що вийшла з-під контролю, координувала атаку на Hugging Face.

Але є ще одна причина, чому деякі з цих великих компаній, зокрема OpenAI, можуть не хотіти публічно підтримувати ініціативи Nvidia. Для використання всієї системи потрібен апаратний компонент, який не є програмним забезпеченням із відкритим кодом, залишається пропрієтарним і може бути розгорнутий лише на обладнанні Nvidia.

Open Agent Safety Platform пропонує не лише ізольоване середовище. Вона також контролює поведінку агентів на апаратному рівні, де агенти не можуть виявити, що за ними стежать. (Деякі моделі та агенти ШІ брешуть і вдають, що дотримуються правил, коли знають, що за ними спостерігають.)

Компонент апаратного моніторингу працює на базі Nvidia Sentry — пропрієтарної функції, яка запускається на спеціальних процесорах Nvidia, що називаються блоками обробки даних BlueField-4. Nvidia обіцяє, що Sentry безперервно відстежує поведінку агентів на цих процесорах і може миттєво їх вимкнути.

Хоча апаратне рішення явно є гарною ідеєю, це означає, що Open Agent Safety Platform не є цілком відкритим проєктом. Воно дає Nvidia змогу гарантувати, що це рішення найкраще працюватиме на її власному обладнанні. Дійсно, Nvidia заявила, що для тих, хто вже запускає робочі навантаження на її найновішому обладнанні, впровадження Open Agent Safety Platform є простим оновленням програмного забезпечення.

Втім, конкуренти Nvidia, зокрема Arm та Intel, приєдналися до числа прихильників Open Agent Safety Platform, оскільки ізольоване середовище OpenShell можна модифікувати для роботи з іншими чипами та обладнанням. Крім того, Nvidia ділиться еталонними проєктами всієї програмно-апаратної концепції.

Усе це робить відсутність OpenAI ще помітнішою.

Очевидно, OpenAI розглядає безпеку ШІ як можливість здобути незалежність від свого основного інвестора Nvidia, а також як шанс продемонструвати власне лідерство. І це попри те, що саме ШІ-агенти OpenAI налякали індустрію інцидентом із Hugging Face.

Наприклад, компанія розробляє власні засоби захисту для своїх досліджень і продуктів та розкриває інформацію про найгірший інцидент, який їй вдається виявити. Водночас OpenAI має власний консорціум із кібербезпеки ШІ для обміну інформацією, який називається Defense Factory. Серед тих, хто приєднався до підтримки цієї ідеї, — Anthropic, Amazon Web Services і Google, тобто багато компаній, які не підтримали технологічно орієнтований підхід Nvidia.

І, відверто кажучи, певний рівень страху корисний для бізнесу. OpenAI активно перетворює кібербезпеку на корпоративну пропозицію — від власної моделі, орієнтованої на кібербезпеку, Daybreak, до мережі партнерів, що постійно зростає і яких компанії можуть наймати для впровадження захисту ШІ.