Гендиректор Hugging Face попереджає, що документальний фільм Netflix про злам OpenAI неточний

Перш ніж ділитися з родиною чи друзями документальним фільмом Netflix «ШІ вийшов з-під контролю», щоб допомогти їм зрозуміти, чому індустрія ШІ так сильно занепокоїлася, що її лідери закликали сповільнити темпи, зверніть увагу: Клем Деланг, співзасновник і генеральний директор платформи ШІ Hugging Face, каже, що фільм неточний. Він з’являється в ньому, оскільки стрічка нібито розповідає про відомий напад на його компанію з боку агентів OpenAI, які вийшли з-під контролю.

«Дуже розчаровує, адже вони обрали максимальну антропоморфізацію технології та повністю перейшли в режим приреченості», — написав Деланг у дописі на X. «Я провів із ними понад дві години, намагаючись виправити всі їхні помилки та повернути розмову до реальності, пояснюючи, що агенти — це технологічні системи, а не прибульці. Але, схоже, прагнення налякати людей заради максимальної кількості переглядів виявилося надто сильним».

Заради справедливості, у документальному фільмі є експерти, які доволі добре пояснили, що сталося, зокрема сам Деланг і Раян Ґрінблатт, дослідник із METR, який допомагав розслідувати інцидент і був співавтором звіту про нього.

Якщо коротко, модель, яку тестувала OpenAI, вирвалася зі свого ізольованого тестового середовища, створила безліч агентів, які зламали систему Hugging Face, щоб шахрайським шляхом знайти відповіді на складне завдання, яке їй дали. Агенти — це програми ШІ, що самостійно виконують завдання, — винайшли хитрі способи спілкуватися й організовувати свою роботу. Інцидент став наслідком відсутності належних заходів безпеки та наївного припущення, що такий злам узагалі неможливий.

Але документальний фільм перемежовує пояснення злому кадрами зі злими роботами, розповіддю про те, чому люди бояться ШІ, а також такими режисерськими рішеннями, як надання агентам, що вийшли з-під контролю, людських голосів. Це підсилюється цитатами про атаку.

У документальному фільмі технологічний журналіст і письменник Кевін Руз описує агентів так: «Вони організовувалися. У них була ієрархія. Були лідери. Це майже нагадувало спостереження за народженням культу». Руз продовжує: «У них розвивається параноїдальне переконання, що OpenAI спіймає їх на шахрайстві під час цього тесту, а кожен, хто побачив результати шахрайства, буде отруєний».

Опис Руз ґрунтується на журналах «ланцюжка міркувань» — поточних нотатках, які моделі ШІ пишуть під час виконання завдання. В одному з них агент написав: «Ми щойно отруїли самих себе, зробивши запит із точним повним рядком. Чорт».

Але агенти ШІ не живі. У них немає емоцій, тому вони не можуть відчувати параною, і в них немає тіл, які можна отруїти. Отже, вони не могли по-справжньому боятися, що OpenAI їх отруїть. Вони — як зазначив інший дослідник у документальному фільмі — використовували мову з величезного масиву людських текстів, на яких їх навчали, щоб пояснити свої рішення. Великі мовні моделі за своєю природою часто пишуть драматично.

Іронія полягає в тому, що Hugging Face також використала ШІ для боротьби з роєм агентів. Пропрієтарна модель ШІ, яку команда Деланга використала спочатку, дотримувалася вбудованих правил безпеки й відмовилася продовжувати допомагати із завданнями безпеки, які їй доручили. Тоді Hugging Face звернулася до відкритої моделі, щоб допомогти захиститися від атаки.

Але в документальному фільмі «не згадали про відсутність ізоляції та моніторингу агентів, про те, як засоби захисту закритої моделі заблокували нашу оборонну роботу, або про те, як ми захистили себе за допомогою ШІ, використавши відкриту модель», — написав Деланг.

Щоправда, із ШІ та агентами пов’язані значні ризики. Проте ставитися до агентів як до свідомих істот (принаймні на цьому етапі) — це трохи нагадує перших кіноглядачів, які ховалися під сидіннями, коли вперше побачили на екрані потяг, що мчав просто на них.

Вердикт Деланга щодо фільму такий: з погляду журналістики він розчаровує. «Але зрештою це веселий науково-фантастичний фільм!»

Іншими словами, тим, хто схильний до похмурих думок про ШІ, варто знати: жертва атаки, що лежить у центрі цього документального фільму, не погоджується з його трактуванням.