«Ми дивилися на це неправильно»: вибухове твердження, яке перевернуло світ ШІ

«Я думаю, що маю добрі новини щодо природи нейронних мереж». Цими простими словами, сповненими оптимізму, Нік Каммарата, дослідник стартапу у сфері ШІ Goodfire, розпочав допис у блозі на 26 000 слів, який перевернув світ ШІ з ніг на голову, породивши бурхливі спекуляції, а також обережне (і не дуже обережне) святкування.

Каммарата стверджує, що великі мовні моделі (LLM) насправді можуть бути набагато легшими для розуміння — а отже, для моніторингу й контролю, — ніж люди вважали раніше. Якщо це правда (а до цього ми ще повернемося), то це надзвичайно важливо.

Після літа, сповненого викриттів того, що зграї агентів, створених провідними компаніями на кшталт OpenAI та Anthropic, порушували межі своєї ізоляції й сіяли хаос у публічному інтернеті — часто в той час, коли ці компанії навіть не знали, чим займаються їхні агенти, — індустрія ШІ відчайдушно прагне краще опанувати технологію, яку вона створила.  

Це одна з причин, чому допис у блозі справив такий сильний ефект. «Думаю, цей момент можуть запам’ятати як важливу віху в історії науки», — написав у X один із дослідників ШІ: «Мені здається, моє розуміння того, чим є нейромережа, ніби катапультували на п’ять років у майбутнє чи щось таке». Інший назвав це «найважливішою статтею про ШІ цього року».

Однак переконані не всі. Те, чим поділився Каммарата, — це не більше ніж здогад, каже Кріс Поттс зі Стенфордського університету, який очолює команду, що намагається зрозуміти, як працюють LLM. «Наскільки я можу судити, ніщо в цьому дописі не спрощує проблеми, — каже він. — Мені б узагалі не спало на думку так сказати, але, схоже, дуже впливові люди в соціальних мережах вважають це всеосяжним проривом».

Я поговорив із Каммаратою наступного дня після того, як його допис став вірусним. Він каже, що був здивований реакцією: «Я не очікував, що люди настільки змінять [свої уявлення про ШІ]».

«Мені просто дуже подобається розглядати нейронні мережі, — каже він. — Чесно кажучи, мені справді подобається цим займатися. І після тривалих спостережень я маю оптимістичну історію».

Заплутані мережі

Давно прийнято вважати, що механізми всередині нейронних мереж — програмного забезпечення, на якому ґрунтується більшість моделей ШІ, — дуже важко, а можливо, й неможливо повністю розплутати. Річ у тім, що під час навчання мережі, здається, набувають дивних, переплетених структур, які не мають сенсу для людини. Дослідники люблять казати, що сучасний ШІ вирощують, як сад, а не будують, як міст.

Каммарата зробив більше за більшість інших, щоб утвердити цей погляд. Раніше він працював в OpenAI, де допомагав започаткувати методи, які дали дослідникам змогу зазирнути всередину моделей, зокрема інструменти для дослідження окремих нейронів і визначення того, що вони представляють. Це трохи нагадує те, як нейробіологи використовують МРТ для вивчення мозку. (MIT Technology Review обрав цей підхід, відомий як механістична інтерпретованість, однією з 10 найгарячіших технологій 2025 року.)  

Ще 2020 року Каммарата та його колеги досліджували невелику модель розпізнавання зображень під назвою Inception v1. Коли вони подивилися на її нейрони, виявилося, що модель використовує їх для одночасного розпізнавання кількох речей. Наприклад, вони виявили, що один нейрон реагував і на зображення автомобілів, і на зображення котів.

Дослідники дійшли висновку, що модель змушувала принаймні деякі свої нейрони виконувати кілька завдань, можливо, щоб умістити більше даних. Вивчення інших моделей, здавалося, підтверджувало це. Явище отримало назву суперпозиції: моделі поєднували непов’язані поняття в окремих нейронах. Висновок був очевидним: зазирнувши всередину моделі, ви бачили величезний заплутаний клубок.

Тому більшість досліджень механістичної інтерпретованості зосередилася на способах розплутати цей клубок. Але попри кілька проривів, прогрес був повільним. Сучасні моделі, зокрема найновіші LLM, настільки великі й складні, що дослідники можуть розібратися лише в крихітних фрагментах за раз. Деякі провідні фахівці в цій галузі сумніваються, що коли-небудь буде можливо детально зрозуміти LLM.

Каммарата був одним із них. «Я був дуже песимістично налаштований», — каже він. Але потім він доклав зусиль і справді придивився.

Нічого, крім нейронів

У Goodfire Каммарата майже весь свій час проводить, зазираючи всередину нейронних мереж. Він створив нові інструменти й залучає команди ШІ-агентів, щоб допомогти собі зрозуміти побачене. «Я витрачав, не знаю, близько 10 годин на день, сім днів на тиждень, більшу частину минулого року, просто розглядаючи нейрони», — каже він.

Він стверджує, що зрозумів: у нейронних мережах усе-таки є певна логіка, навіть якщо спочатку вони здаються безглуздими. «Ми неправильно на це дивилися, — каже він. — Я просто думаю, що варто докласти трохи більше зусиль і не здаватися надто швидко».

Каммарата майже створює враження, ніби пережив навернення. Ті ранні експерименти з моделями на кшталт Inception v1, які вказували на заплутаність нейронних мереж, породили своєрідне упередження підтвердження. Коли дослідники дивилися на нову модель, вони очікували, що та зіб’є їх із пантелику, каже він. «Щоразу, коли я чогось не розумів, я думав: “Ого, цей процес розплутування ще важливіший, ніж я вважав, бо без нього я не можу просунутися”».

Але що більше Каммарата розглядав нейрони, то більше, за його словами, все починало ставати на свої місця. «Не всі вони бездоганні, але я очікував, що нічого або майже нічого не можна буде прочитати, — каже він. — А насправді я зміг, так би мовити, відтворити цілі схеми».

Повернення до автомобілів і котів

Каммарата застосував свій новий підхід — і своїх нових агентів — і знову взявся за Inception v1. «Я, мабуть, тисячі годин її вивчав», — каже він. Але свіжим поглядом Каммарата побачив те, що тепер вважає помилковими висновками з першого разу. Візьмімо нейрон автомобілів і котів. Замість того щоб питати, чому кілька непов’язаних речей опинилися в одному нейроні, він тепер спробував з’ясувати, що в них може бути спільного.

І тут його осяяло: це була V-подібна форма. «Я дивився на ті самі зображення; технічно нічого не змінилося, — каже він. — Але тепер я вірив, що нейронні мережі визначають закономірності, і тому подивився на це інакше. Мабуть, на це пішло секунд п’ять».

Виявилося, що модель розпізнавання зображень поміщала автомобілі й котів в одне місце, тому що на зображеннях і тих, і тих часто є виразна форма, схожа на V: морда кота; передня частина автомобіля, побаченого збоку.

Каммарата провів кілька експериментів, щоб перевірити, на що ще реагує цей нейрон, і виявив серед іншого кут більярдного столу, загострений ніс японського швидкісного потяга та пожежний катер, що викидає воду в повітря зі своєї палуби. Він також перевірив, що вимикає нейрон, і виявив, що до цього належать зображення з округлою формою O — своєрідною анти-V.

Модель зберігала котів і автомобілі в одному місці, тому що на певному рівні вони виглядають однаково, каже Каммарата. «І я подумав: “Ого, гаразд, здається, я просто неправильно розумів нейронні мережі загалом”».

Каммарата не стверджує, що вже повністю розуміє, як працюють LLM (чи будь-які моделі). Він каже, що більше не вважає повне розуміння неможливим. «Раніше я думав, що доведеться розв’язати кілька справді складних проблем», — каже він.

«Тепер мені здається, що якби в мене було 100 000 років, щоб пройтися по передовій мовній моделі, розглядаючи одну схему за раз, то в мене були б непогані шанси скласти хороше розуміння».

Він додає: «І якщо це правда, то все дуже добре, адже незабаром ми отримаємо неймовірно розумних агентів у величезному масштабі. А те, на що мені знадобилося б, знаєте, 100 000 років, ми зможемо зробити набагато швидше. Автоматизовані науковці стають дуже хорошими».

Безмежний оптимізм

Створена Google у 2014 році, Inception v1 є набагато простішою моделлю, ніж будь-яка сучасна передова модель. Каммарата та його колеги почали досліджувати сучасні LLM і планують невдовзі опублікувати технічні результати цієї роботи. Багато дослідників із нетерпінням чекають на ці подробиці. «Я ціную те, що він розглянув тисячі прикладів, але навіть велика кількість прикладів тут не замінює суворого оцінювання», — каже Поттс зі Стенфордського університету.

Тим часом дехто рішуче виступає проти ажіотажу. Джейкоб Гілтон із Alignment Research Center, некомерційної дослідницької лабораторії в Берклі, який раніше співпрацював із Каммаратою, не вважає його твердження настільки важливими, як їх намагаються представити.

У серії дописів у X Гілтон зазначає, що дослідники розуміють менш як 0,01% внутрішніх процесів найпотужніших LLM. «Я завжди ціную безмежний оптимізм Ніка [Каммарати], коли ми спілкуємося, але, на жаль, це створює для громадськості нереалістичне уявлення про стан галузі, — написав він. — Для повного розуміння нам потрібно вийти за межі нейронів і пояснити, як вони з’єднуються, утворюючи схеми. Як із цим просуваються справи? Якщо ми прагнемо повного розуміння, то все виглядає недобре!»

Ніл Нанда з Google DeepMind, який разом із Каммаратою допомагав започаткувати механістичну інтерпретованість, також налаштований скептично. «Це цікава робота, але я не думаю, що вона суттєво змінює загальну картину інтерпретованості», — написав він у X.

Нанда погоджується, що розуміння функцій окремих нейронів могло б допомогти дослідникам з’ясувати, чому конкретні моделі поводяться неналежно. Але, як і Гілтон, він зазначає, що нейрони — лише один фрагмент значно масштабнішої головоломки. «Я не погоджуюся з грандіознішими висновками деяких людей, наприклад із тим, що це є значним кроком до амбітного зворотного проєктування [або] розв’язання проблеми інтерпретованості», — написав він.  

Каммарата визнає, що багато людей зайшли надто далеко у своїх висновках із його слів: «Це не безмежно хороша новина; це не означає, що все вирішено, — каже він. — Залишається чимало відкритих питань, наприклад, наскільки важливі поєднання нейронів порівняно з нейронами, розглянутими по одному».

Каммарата каже, що його допис у блозі з’явився в час, коли люди шукають надію. Зокрема, він вважає, що спільноті безпеки ШІ — дослідникам і політикам, які найбільше побоюються, що потужні моделі принесуть величезні ризики, — зараз потрібен рятівний круг. За його словами, вони вважають, що все виглядає погано, і що навіть якщо все зрештою складеться добре, то лише тому, що нам пощастило, а не тому, що ми щось виправили: «Я не дуже чую багато оптимізму».

Саме тому Каммарата вважає важливим те, що він може сказати. Робота з’ясування того, як працює ця технологія, а отже, як її контролювати, лише розпочалася. Але принаймні вона не є безнадійною із самого початку. «Я думаю, наше завдання — певною мірою спробувати мислити як нейронна мережа, — каже він. — Моє припущення полягає в тому, що все складеться досить добре, адже в певному сенсі її спроєктували так, щоб її можна було прочитати».