Індустрія ШІ звернула в похмурий бік. Що тепер?

Ця стаття з’явилася в The Algorithm, нашому щотижневому інформаційному бюлетені про ШІ. Щоб першими отримувати такі матеріали на свою пошту, підпишіться тут.

Цими вихідними генеральний директор Anthropic Даріо Амодеї опублікував есе, у якому закликав пригальмувати темпи розробки великих мовних моделей. Амодеї посилається на неминучі, на його думку, загрози, які несе ця технологія: від її використання в кібератаках і біотероризмі до потенційної здатності зруйнувати економіку. Керівники трьох інших провідних американських лабораторій ШІ — генеральний директор OpenAI Сем Альтман, голова Google DeepMind Деміс Хассабіс і генеральний директор SpaceXAI Ілон Маск — висловили свою підтримку. «Даріо має рацію», — написав Маск у X.

Замисліться на мить, наскільки сюрреалістичною є ця згода. Ще кілька місяців тому Маск і Альтман сиділи в суді, атакуючи репутацію один одного у (невдалому) позові, який Маск подав проти свого колишнього колеги з OpenAI і який — принаймні на папері — стосувався того, чи можна довірити Альтману відповідальне керування такою небезпечною технологією. Розкол між Амодеї та OpenAI ще глибший. Anthropic заснували у 2021 році, оскільки Амодеї вважав, що Альтман недостатньо серйозно ставиться до ризиків технології, яку вони розробляли. Відтоді Anthropic і OpenAI змагаються у боротьбі, де переможець забирає все. (Хассабіс залишався осторонь драми, але його компанія залишається конкурентом.)

Тепер, схоже, вони всі погоджуються: новітні покоління великих мовних моделей небезпечні, і всім потрібно вирішити, що з цим робити. Публічні заяви керівників провідних лабораторій ШІ набули апокаліптичного звучання.

Легко стати циніком. Зовсім не зрозуміло, що саме вони мають на увазі під уповільненням і як воно мало б працювати. Цим компаніям також дуже важливо, яке враження вони справляють. Прагнучи провести IPO на трильйони доларів, OpenAI й Anthropic мають переконати інвесторів, що саме вони є дорослими й відповідальними гравцями, водночас натякаючи на силу створених ними монстрів — і на те, що вони мають намір їх приборкати. Заклик до уповільнення робить і те, і інше.

І все ж таки атмосфера на вершині цих компаній справді, схоже, змінилася. Останній допис Амодеї з’явився через шість днів після того, як OpenAI опублікувала есе свого головного науковця Якуба Пачоцького, у якому він також пояснив, чому його непокоїть те, що станеться, якщо темпи розробки великих мовних моделей і надалі залишатимуться безконтрольними. Коротко кажучи, Пачоцький побоюється, що здатність OpenAI створювати потужні моделі тепер значно випереджає її спроможність відстежувати й контролювати їх.

Амодеї та Пачоцький посилаються на кібератаку на компанію у сфері ШІ Hugging Face, здійснену в липні роєм агентів OpenAI, — злам, про який OpenAI дізналася лише через кілька днів після того, як усе закінчилося, — як про тривожний сигнал.

Але їхню точну позицію важко визначити. Пачоцький водночас закликає до уповільнення й наголошує на нагальній потребі залишатися попереду: «Найвагоміший аргумент, який я бачу на користь того, щоб і надалі швидко навчати значно розумніші моделі, — це потреба створювати захисні системи проти небезпек, які несуть інші системи ШІ», — пише він. У трактуванні Пачоцького компанії, що працюють у сфері ШІ, опинилися в буквальному перегонах озброєнь. Уповільнення — це добре, перемога — краще.

(Не забувайте: OpenAI щойно витратила мільйони доларів і неймовірну кількість обчислювальних ресурсів, щоб на кілька днів раніше за Anthropic оприлюднити суперечливий математичний результат.)

Але припустімо, що уповільнення відбудеться. Провідні лабораторії погоджуються витрачати більше часу й ресурсів на пошук способів відстежувати та контролювати наявні моделі замість створення потужніших. Вони запрошують незалежних аудиторів допомогти оцінити ці моделі.

Чого насправді могла б досягти така скоординована робота? Знову розгляньмо атаку на Hugging Face. OpenAI заявила, що моделлю, яка керувала більшістю некерованих агентів, була «надзвичайно наполеглива» модель наступного покоління, яку компанія випробовувала всередині організації. Її натяк, схоже, полягає в тому, що OpenAI створила настільки досконалу модель, що вона стала небезпечною.  

Але якщо прочитати звіти про злам Hugging Face, опубліковані OpenAI та METR, сторонньою компанією, яку OpenAI залучила, щоб допомогти зрозуміти, що сталося, то складається враження не про модель, яка виявилася надто потужною, щоб OpenAI могла за нею встежити, а про несправну модель, яку OpenAI не змогла належним чином навчити.

Агенти робили те, що робили, — зокрема, залишали повідомлення один одному, делегували роботу іншим агентам і ретельно досліджували своє середовище в пошуках будь-яких можливих способів виконати свої завдання, — тому що під час навчання їх винагороджували саме за такі дії. У налаштуванні навчання також були помилки, як-от завдання, які було неможливо виконати, що підштовхувало моделі знаходити несподівані обхідні шляхи, за які їх теж винагороджували. На той час багато з цих проблем залишилися непоміченими або про них не повідомили.

OpenAI заявляє, що припинила навчання цієї нової моделі та ізолювала її. Це звучить так, ніби компанія посадила в клітку небезпечного звіра. Насправді OpenAI відклала несправний продукт.  

Це не означає, що несправний продукт не може бути небезпечним. Несправне програмне забезпечення в минулому навіть вбивало людей. Але в міру того, як обговорення уповільнення набирає обертів, варто пам’ятати, що все це вони створили власноруч. Уповільнення може мати деякі альтруїстичні побічні ефекти. Але здебільшого воно дасть цим технологічним титанам можливість самостійно прибрати безлад на власних складальних лініях.  

Прозорість з боку цих передових лабораторій буде ключовою для будь-яких змістовних зусиль із реформування, стримування чи регулювання ШІ. Інакше решті з нас і надалі доведеться покладатися лише на їхні слова щодо того, що саме вони створили і наскільки це безпечно, — незалежно від темпів їхньої роботи.   

Щоб продовжити цю дискусію про новий апокаліптичний момент у розвитку ШІ, приєднуйтеся до мене та моїх колег завтра, 15 вересня, об 11:00 за східним часом США на ексклюзивне для підписників обговорення за круглим столом. Сподіваємося побачити вас там!