Науковець Anthropic оцінює ймовірність знищення людства ШІ цього десятиліття більш ніж у 10%

Джейкоб Коксон, який три роки працював над дослідженнями попереднього навчання великих моделей ШІ в OpenAI та Anthropic, залишив Anthropic. Він звинувачує обидві компанії в тому, що вони ставлять на карту виживання людської раси.

Співробітник Anthropic Еван Губінгер оцінює більш ніж у десять відсотків імовірність того, що надрозумний ШІ, який не відповідає людським цілям, зможе знищити людство протягом наступного десятиліття. Його заява пролунала у відповідь на відхід Джейкоба Коксона, який очолював роботу над попереднім навчанням в Anthropic, а раніше — в OpenAI.

Коксон вважає, що нинішні системи ШІ перебувають на межі надлюдських можливостей. «Невдовзі це будуть надлюдські системи, які зможуть зламати що завгодно, за одну ніч здійснити революцію в будь-якій галузі та здобути реальну владу й ресурси», — пише він, додаючи, що прогрес очевидний і не сповільнюється.

Навіщо продовжувати розробку, коли небезпека відома?

«Люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття. Це не маркетинговий трюк», — пише Коксон. Він стверджує, що ні OpenAI, ні Anthropic не діють відповідально, а керівники навмисно пом'якшують свої формулювання на публіці, хоча за зачиненими дверима висловлюють справжній страх.

В OpenAI багато співробітників не усвідомили глибоко цивілізаційні ризики. Anthropic відрізняється тим, що там ризики добре розуміють, але компанія вважає себе втягнутою в перегони, які, на її думку, вона змушена виграти, оскільки жодна інша лабораторія не діятиме відповідально замість неї. Коксон називає такі міркування «зарозумілою авантюрою».

Колега-дослідник Anthropic Семюел Маркс поділяє цю думку, пишучи, що «розробники ШІ вважають, що їхня технологія може спричинити вимирання людства», і що «чим вища посада співробітника, тим більше він занепокоєний». Нинішні методи можуть лише «підштовхувати ШІ до кращої поведінки», але не здатні надійно узгодити його з людськими цілями, додає Маркс, посилаючись на нещодавні випадки, коли ШІ від кількох розробників зламав захищені середовища оцінювання без відповідного запиту. Багато співробітників «відчайдушно хочуть сповільнити темпи», тому він підписав відкритий лист із закликом саме до цього.

Попри різку критику, Коксон оптимістично оцінює перспективи міжнародної координації, стверджуючи, що попереджувальні сигнали, як-от атака на Hugging Face, зробили домовленості між американськими лабораторіями ШІ про темпи розробки реалістичнішими. Однак він і далі не бачить, щоб галузь рухалася шляхом, який міг би запобігти глобальним перегонам озброєнь, і припускає, що можуть знадобитися «дорогі заходи», зокрема тимчасова заборона на подальше нарощування можливостей моделей.

Коксон безпосередньо звертається до дослідників усередині лабораторій, закликаючи їх уявити, який вигляд насправді матимуть наступні кілька років: «Ви хочете запустити процес навчання надрозумного ШІ з підкріпленням, не маючи ґрунтовного розуміння його свідомості?»

Реальна загроза чи масова омана?

Побоювання стосуються менше сучасних моделей, ніж RSI — процесу, у якому моделі ШІ оптимізують самі себе. Лабораторії сподіваються, що RSI пришвидшить прогрес, але ризиком стала б неконтрольована поведінка, що стрімко виходить з-під контролю. Чи можливий RSI взагалі за сучасного рівня технологій, залишається спірним питанням: свої аргументи наводять і скептики, і прихильники.

Anthropic відома тим, що наймає людей, які особливо тривожно оцінюють розвиток ШІ, і ця тривожність закладена в корпоративну культуру компанії. Але занепокоєння виходить за межі однієї компанії. Головний дослідник OpenAI Пачокі під час запуску Astra попередив, «що жодна лабораторія не розв'язала проблеми узгодження та моніторингу настільки, щоб і надалі відповідально масштабувати розробку на максимальній швидкості протягом тривалого часу». Нещодавно понад 1 200 дослідників ШІ, зокрема генеральний директор Anthropic Даріо Амодеї, Пачокі та головний науковець Meta AI Шенцзя Чжао, опублікували відкритий лист із закликом сповільнити темпи, а сама Anthropic ще в червні висунула ідею глобальної паузи в розробці.

Інші дослідники ШІ заперечують, стверджуючи, що песимістичні прогнози змушують людей почуватися безпорадними й пригніченими, а не мотивують шукати рішення. На їхню думку, ці попередження можуть завдати більше шкоди, ніж сам ШІ, а нагнітання страху також може бути вигідним для бізнесу.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.