«Ми граємося з нашими життями»: дослідник Anthropic звільнився, попередивши про ШІ, що самовдосконалюється

Дослідник Anthropic подав у відставку через побоювання, що неконтрольована розробка самовдосконалюваних моделей ШІ зрештою призведе до загибелі всіх нас.

Якоб Коксон, дослідник, який у дописі в соцмережі у вівторок увечері повідомив, що останні три роки працював над дослідженнями попереднього навчання в OpenAI та Anthropic, звинуватив компанії в безвідповідальності. Він заявив, що люди, які поспішають створити цю технологію, «щиро вірять, що до кінця десятиліття вона може вбити нас усіх».

«Вони стрімголов рухаються до самовдосконалюваного надінтелекту й грають у рулетку з нашими життями», — написав Коксон у ланцюжку дописів на X.

Коксон приєднався до дедалі більшої кількості представників індустрії, які закликають пригальмувати, перш ніж технологія ШІ навчиться вдосконалювати саму себе — рубіж, який, на думку багатьох, покладе край контролю людей над ШІ. 

Публічна відставка відбулася на тлі дедалі сильнішого тиску з боку законодавців і представників індустрії, які закликають сповільнити розвиток ШІ після кількох інцидентів, під час яких агенти ШІ виходили за межі своїх ізольованих середовищ і отримували доступ до відкритого інтернету.

Найсерйознішими наразі стали злом системами OpenAI серверів Hugging Face — подія, яка, за словами дослідників, залишається недостатньо вивченою, зокрема через обмежений характер незалежних розслідувань цього інциденту. Приблизно в той самий час агенти ШІ Anthropic також отримали доступ до систем за межами своїх тестових середовищ після того, як помилки в налаштуваннях під час оцінювання безпеки, проведеного третьою стороною, ненавмисно відкрили їм шляхи до інтернету.

Anthropic не одразу відповіла на запит про коментар щодо відставки.

Ось решта попередження Коксона та його заклику до дій: 

Не недооцінюйте силу цієї технології. Незабаром це будуть надлюдські системи, здатні зламати будь-що, за одну ніч революціонізувати будь-яку галузь і здобути реальну владу та ресурси. Ми всі стали свідками прогресу в кожній із цих сфер, і цей прогрес не сповільнюється.

Люди, які створюють ШІ, щиро вірять, що до кінця десятиліття він може вбити нас усіх. Це не маркетинговий трюк. Якщо вже на те пішло, багато керівників і провідних дослідників у пресі добирають слова так, щоб звучати розсудливо, — але приватно я чую, як ті самі люди висловлюють страх. Жодна інша діяльність людини не становить такого рівня небезпеки.

Поширена відповідь звучить так: «Якщо вони справді в це вірять, чому все ще це створюють?» В OpenAI багато хто не усвідомив належною мірою цивілізаційні наслідки. В Anthropic ці наслідки добре розуміють, але компанія втягнута в гонку, щоб дістатися мети першою, — там вважають, що ніхто інший не діятиме відповідально, тож вони мусять зробити це самі, попри ризик.

Прийняти цю гонку й увійти в «ендшпіль» — самовпевнена авантюра, яку не слід починати в Slack приватної компанії. Спроба в прискореному режимі досягти узгодженості має вимагати надзвичайної впевненості в тому, що кращих можливих траєкторій не існує.

Я оптимістично оцінюю потенціал для координації. Попереджувальні сигнали, як-от атака на Hugging Face, зробили угоди між лабораторіями США щодо темпів розвитку більш реалістичними. Я не вважаю, що ми рухаємося до запобігання глобальній гонці, для чого можуть знадобитися дорогі заходи, такі як тимчасова заборона на вдосконалення можливостей моделей.

Якщо ви дослідник у лабораторії, закликаю вас замислитися над тим, якими насправді будуть наступні кілька років. Чи хочете ви запустити цикл навчання з підкріпленням надінтелекту без ґрунтовного розуміння його свідомості? Чи варто вам сховати голову в пісок, бо «це все одно станеться», — чи скористатися цим моментом, щоб закликати до інших умов?

Один із колег Коксона в Anthropic, Еван Губінгер, підтримав цю думку, заявивши, що його команда «щиро вірить, що ШІ може вбити всіх людей!» Водночас він пом’якшив свою позицію, зазначивши, що ймовірність цього становить понад 10% протягом наступного десятиліття, і визнав, що Anthropic «не має плану, як вирішити проблему узгодженості для надінтелекту, і ми явно не рухаємося до цього». 

У нещодавньому звіті Guidelight AI Standards, організації, що сприяє безпечним практикам розробки передового ШІ, встановлено, що лише кілька провідних лабораторій ШІ опублікували плани реагування для ізоляції та вимкнення ШІ, який намагається підірвати контроль людей. 

У своїх дописах у соцмережах Губінгер додав, що ризик від нинішніх моделей є низьким, але страх посилюється через «виникнення надінтелекту внаслідок рекурсивного самовдосконалення», яке «відбувається швидше, ніж ми думали».

Поки половина індустрії ШІ вважає, що таке самовдосконалення призведе до загибелі людства, інша половина сподівається, що зрештою воно допоможе нам розв’язати всі проблеми, які прихильники ШІ називають на перший погляд фантастичними, але які одного дня він нібито усуне, — рак, зміну клімату і навіть встановлення миру в усьому світі.

Anthropic та OpenAI — не єдині компанії, які активно прагнуть досягти рекурсивного самовдосконалення. Останніми місяцями з’явилася хвиля стартапів із засновниками з бездоганною репутацією та великими інвестиціями, які прагнуть першими досягти цієї мети. Ricursive Intelligence залучила в лютому 335 мільйонів доларів за оцінки в 4 мільярди доларів; через три місяці Recursive Superintelligence залучила 650 мільйонів доларів за оцінки в 4 мільярди доларів; а колишній ветеран Google DeepMind Джефф Дін минулого місяця запустив Discovery Loop.

«Створення рекурсивних циклів самовдосконалення, коли система ШІ може створити наступне покоління систем ШІ, яке саме може створити ще потужніший ШІ, який може створити ще потужніший ШІ, і так далі, — найімовірніший кандидат на момент, коли ми втратимо контроль», — сказав TechCrunch Коннор Ліхі, виконавчий директор американської некомерційної організації з безпеки ШІ ControlAI. «Дуже важко уявити, як зупинити це, поки не стало надто пізно».

У США та Великій Британії нещодавно з’явилися законопроєкти, що мають заборонити розробку та розгортання надінтелекту. Минулого тижня сенатор Берні Сандерс (незалежний, штат Вермонт) і член Палати представників Ґреґ Касар (демократ, штат Техас) представили законопроєкт про заборону штучного надінтелекту, а у вівторок британський депутат від Лейбористської партії Алекс Собел представив у парламенті законопроєкт про безпеку штучного надінтелекту. 

Ліхі, який консультував авторів обох законопроєктів, зазначив, що британський законопроєкт називає рекурсивне самовдосконалення передумовою надінтелекту, яку «необхідно регулювати й не допускати».

«Надінтелект — це не інструмент, — сказав Ліхі. — Це навіть не зброя. Це супротивник».