„Гледахме на това погрешно“: Взривоопасното твърдение, което разтърси света на ИИ

„Мисля, че имам добри новини за природата на невронните мрежи.“ С тези прости думи, изпълнени с оптимизъм, Ник Камарата, изследовател в стартъпа за изкуствен интелект Goodfire, постави началото на публикация в блог от 26 000 думи, която преобърна света на ИИ, предизвиквайки бурни спекулации, както и предпазливо (а и не толкова предпазливо) ликуване.

Твърдението на Камарата е, че големите езикови модели (LLM) всъщност може да са много по-лесни за разбиране — а следователно и за наблюдение и контрол — отколкото се смяташе досега. Ако е вярно (а към това ще се върнем), значението му е огромно.

След лято, изпълнено с разкрития, че рояци от агенти, създадени от водещи компании като OpenAI и Anthropic, са нарушавали ограниченията си и са предизвиквали хаос в публичния интернет — често без компаниите да знаят какво правят агентите им — индустрията на ИИ отчаяно се нуждае от по-добро разбиране на технологията, която е създала.  

Това е една от причините публикацията да има такъв силен отзвук. „Мисля, че това може да бъде запомнено като важен момент в историята на науката“, публикува в X един изследовател на ИИ: „Имам чувството, че разбирането ми за това какво представлява невронната мрежа беше изстреляно пет години напред или нещо такова.“ Друг го нарече „най-важната статия за ИИ за годината“.

Не всички обаче са убедени. Споделеното от Камарата е малко повече от догадка, казва Крис Потс от Станфордския университет, който ръководи екип, опитващ се да разбере как работят LLM. „Доколкото мога да преценя, нищо в тази публикация не прави проблемите по-лесни“, казва той. „Изобщо не би ми хрумнало да го кажа, но изглежда, че много влиятелни хора в социалните мрежи смятат, че това е всеобхватен пробив.“

Разговарях с Камарата в деня след като публикацията му предизвика сензация. Той казва, че реакцията го е изненадала: „Не очаквах хората да променят убежденията си [относно ИИ] чак толкова.“ 

„Просто наистина обичам да разглеждам невронни мрежи“, казва той. „Честно казано, много ми харесва да се занимавам с това. И след като съм ги разглеждал толкова много, имам обнадеждаваща история.“

Заплетени мрежи

Отдавна се приема, че механизмите в невронните мрежи — софтуерът, върху който се основават повечето модели на ИИ — са много трудни, а може би и невъзможни за пълно разплитане. Причината е, че когато мрежите се обучават, те сякаш придобиват странни, заплетени структури, които нямат смисъл за човека. Изследователите обичат да казват, че днешният ИИ се отглежда като градина, а не се строи като мост.

Камарата е направил повече от повечето други, за да утвърди тази гледна точка. Преди това е работил в OpenAI, където е помогнал за разработването на новаторски техники, позволяващи на изследователите да надникнат в моделите, включително инструменти, които могат да изследват отделни неврони, за да видят какво представляват. Това донякъде напомня начина, по който невролозите използват ядрено-магнитен резонанс за изследване на мозъка. (MIT Technology Review избра този подход, известен като механистична интерпретируемост, за една от 10-те най-горещи технологии на 2025 г..)  

През 2020 г. Камарата и колегите му изследвали малък модел за разпознаване на изображения, наречен Inception v1. Когато разгледали невроните му, изглеждало, че той ги използва, за да улавя множество неща едновременно. Например открили, че един неврон реагира както на изображения на автомобили, така и на изображения на котки.

Изследователите заключили, че моделът кара поне част от невроните си да изпълняват множество задачи, вероятно за да побере повече данни. Изглеждало, че наблюденията върху други модели потвърждават това. Феноменът станал известен като суперпозиция: моделите обединявали несвързани понятия в отделни неврони. Изводът бил ясен: когато надникнете в модела, виждате огромен, заплетен възел.

Затова повечето изследвания върху механистичната интерпретируемост са се съсредоточили върху начини за разплитане на този възел. Но въпреки няколко пробива напредъкът е бавен. Днешните модели, като най-новите LLM, са толкова големи и сложни, че изследователите могат да осмислят само миниатюрни части от тях наведнъж. Някои водещи фигури в областта се съмняват, че някога ще бъде възможно да се разбере LLM в детайли.

Камарата също е бил сред тях. „Бях много песимистично настроен“, казва той. Но после си направил труда наистина да погледне.

Нищо освен неврони

В Goodfire Камарата прекарва почти цялото си време, надниквайки в невронните мрежи. Той е създал нови инструменти и използва екипи от агенти с ИИ, които да му помагат да осмисли видяното. „Прекарвах, не знам, по 10 часа на ден, седем дни в седмицата, през по-голямата част от последната година просто разглеждайки неврони“, казва той.

Това, което твърди, че е осъзнал, е, че все пак има някаква логика в невронните мрежи, дори ако в началото изглежда, че нямат никакъв смисъл. „Гледахме на тях по грешен начин“, казва той. „Просто мисля, че трябва да опитате малко по-упорито; не бива да се отказвате твърде бързо.“

Камарата почти го представя като обръщане към нова вяра. Тези ранни експерименти с модели като Inception v1, които подсказвали, че невронните мрежи са заплетени, породили своеобразно потвърждаващо пристрастие. Когато изследователите разглеждали нов модел, те очаквали да бъдат объркани, казва той. „Всеки път, когато не можех да разбера нещо, си казвах: „Уау, този процес на разплитане е още по-важен, отколкото си мислех, защото не мога да напредна без него.““

Но колкото повече Камарата разглеждал невроните, казва той, толкова повече нещата започнали да си идват на мястото. „Не всички са безупречни, но очаквах нищо или почти нищо да не може да бъде разчетено“, казва той. „А всъщност успях да очертая цели вериги.“

Обратно към автомобилите и котките

Камарата приложил новия си подход — и новите си агенти — отново към Inception v1. „Бях го изучавал вероятно хиляди часове“, казва той. Но с нов поглед Камарата открил неща, за които сега смята, че са били разбрани погрешно при първия път. Да вземем неврона, реагиращ на автомобили и котки. Вместо да се пита защо множество несвързани неща са били събрани в един неврон, сега той се опитал да разбере какво може да имат общо.

Тогава го осенило: това била V-образна форма. „Гледах същите изображения; нямаше никаква техническа промяна“, казва той. „Но вече вярвах, че невронните мрежи дефинират модели, и затова ги погледнах по различен начин. Вероятно ми отне пет секунди.“

Оказва се, че моделът за разпознаване на изображения е събирал автомобилите и котките на едно и също място, защото снимките и на едните, и на другите често съдържат ясно изразена форма, наподобяваща V: лицето на котка; предната част на автомобил, видян отстрани.

Камарата провел няколко експеримента, за да провери на какви други неща реагира невронът, и установил, че сред тях са ъгълът на билярдна маса, заостреният нос на японски високоскоростен влак и противопожарен кораб, изстрелващ вода във въздуха от палубата си. Той проверил и какво изключва неврона и установил, че сред тези неща са изображения с кръгла О-образна форма — своеобразна анти-V форма.

Моделът е съхранил котките и автомобилите на едно и също място, защото на някакво ниво те изглеждат еднакво, казва Камарата. „И си казах: „Уау, добре, мисля, че може би просто не разбирам невронните мрежи като цяло.““

Камарата не твърди, че вече напълно разбира как работят LLM (или който и да е модел). Той казва, че вече не смята пълното разбиране за невъзможно. „Преди мислех, че ще има някои наистина трудни за решаване проблеми“, казва той.

„Сега усещам, че ако имах 100 000 години, за да разгледам един авангарден езиков модел, една схема след друга, има доста добър шанс да стигна до добро разбиране.“

Той добавя: „И ако това е вярно, нещата са наистина добри, защото сме на път да получим безумно интелигентни агенти в нелепо голям мащаб. А това, което би ми отнело, знаете, 100 000 години, ще можем да направим много по-бързо. Автоматизираните учени стават наистина добри.“

Безграничен оптимизъм

Създаден от Google през 2014 г., Inception v1 е далеч по-прост модел от всичко, което днес е на върха на технологиите. Камарата и колегите му са започнали да изследват съвременни LLM и планират скоро да публикуват техническите резултати от тази работа. Много изследователи очакват с интерес да видят подробностите. „Оценявам, че той е разгледал хиляди примери, но дори голям брой примери тук не може да замени строгата оценка“, казва Потс от Станфордския университет.

Междувременно някои яростно се противопоставят на преувеличенията. Джейкъб Хилтън от Alignment Research Center, базирана в Бъркли неправителствена изследователска лаборатория, който в миналото е работил с Камарата, не смята, че твърденията му са толкова важни, колкото ги представят хората.

В поредица от публикации в X Хилтън отбелязва, че изследователите разбират по-малко от 0,01% от вътрешните механизми на най-мощните LLM. „Винаги оценявам безграничния оптимизъм на Ник [Камарата], когато прекарваме време заедно, но за съжаление това създава у публиката нереалистична представа за състоянието на областта“, пише той. „За пълно разбиране трябва да надхвърлим невроните и да обясним как те се свързват, за да образуват вериги. Как върви това? Ако се стремим към пълно разбиране, нещата не изглеждат добре!“

Нийл Нанда от Google DeepMind, който заедно с Камарата е сред пионерите на механистичната интерпретируемост, също е скептичен. „Това е интересна работа, но не мисля, че представлява значителна промяна в общата картина на интерпретируемостта“, пише той в X.

Нанда е съгласен, че разбирането на функциите на отделните неврони би могло да помогне на изследователите да разберат защо конкретни модели се държат неправилно. Но подобно на Хилтън той отбелязва, че невроните са само една част от далеч по-голям пъзел. „Не съм съгласен с по-грандиозните изводи на някои хора, че това представлява значителен напредък към амбициозното обратно инженерство [или] решаването на проблема с интерпретируемостта“, пише той.  

Камарата признава, че много хора са отишли твърде далеч в интерпретацията на думите му: „Това не са безкрайно добри новини; не сме решили всичко“, казва той. „Има множество отворени въпроси, например доколко имат значение комбинациите от неврони в сравнение с разглеждането им един по един.“

Камарата казва, че публикацията му се е появила в момент, когато хората търсят надежда. По-специално той смята, че общността, занимаваща се с безопасността на ИИ — изследователите и политиците, които най-много се опасяват, че мощните модели ще донесат огромни рискове — има нужда от спасителен пояс точно сега. Те смятат, че нещата изглеждат зле и че дори всичко да се развие добре, това ще е защото сме имали късмет, а не защото сме поправили нещо, казва той: „Не чувам много оптимизъм.“

Именно затова Камарата смята, че думите му са важни. Работата по разбирането на това как функционира тази технология и съответно как да бъде контролирана, едва е започнала. Но поне не е обречена от самото начало. „Мисля, че нашата задача е да се опитаме да мислим като невронната мрежа“, казва той. „Предполагам, че нещата ще се развият доста добре, защото в известен смисъл тя е проектирана така, че да може да бъде разчетена.“