«Мы смотрели на это неправильно»: сенсационное утверждение, перевернувшее мир ИИ

«Думаю, у меня есть хорошие новости о природе нейронных сетей». Этими простыми словами, исполненными оптимизма, Ник Каммарата, исследователь стартапа в области ИИ Goodfire, начал публикацию в блоге объёмом 26 000 слов, которая перевернула мир ИИ с ног на голову, породив как бурные спекуляции, так и осторожные (а порой и не слишком осторожные) восторги.

Каммарата утверждает, что большие языковые модели (LLM) на самом деле могут быть гораздо проще для понимания — а значит, для мониторинга и контроля, — чем считалось прежде. Если это действительно так (к этому мы ещё вернёмся), то речь идёт о событии огромной важности.

После лета, наполненного разоблачениями того, что рои агентов, созданных такими ведущими компаниями, как OpenAI и Anthropic, нарушали пределы допустимого и устраивали хаос в публичном интернете — зачастую в то время, когда сами компании не знали, чем занимаются их агенты, — индустрия ИИ отчаянно пытается лучше разобраться в созданной ею технологии.  

Это одна из причин, по которой публикация произвела такой эффект. «Думаю, это могут запомнить как важный момент в истории науки», — написал в X один из исследователей ИИ: «Мне кажется, моё понимание того, что представляет собой нейросеть, словно перенеслось на пять лет вперёд или что-то вроде того». Другой назвал её «самой важной научной работой в области ИИ за год».

Однако убедила она не всех. По словам Криса Поттса из Стэнфордского университета, который руководит командой, пытающейся понять, как работают LLM, то, чем поделился Каммарата, — не более чем догадка. «Насколько я могу судить, эта публикация в блоге никак не упрощает существующие проблемы, — говорит он. — Мне бы вообще не пришло в голову так считать, но, судя по всему, очень известные люди в социальных сетях уверены, что это всеобъемлющий прорыв».

Я поговорил с Каммаратой на следующий день после того, как его публикация вызвала ажиотаж. Он говорит, что был удивлён реакцией: «Я не ожидал, что люди настолько пересмотрят [свои представления об ИИ]».

«Мне просто очень нравится рассматривать нейронные сети, — говорит он. — Честно говоря, мне действительно нравится этим заниматься. И после долгих наблюдений у меня появилась обнадёживающая версия происходящего».

Запутанные сети

Давно считается, что механизмы внутри нейронных сетей — программного обеспечения, лежащего в основе большинства моделей ИИ, — очень трудно, а возможно, и невозможно полностью распутать. Дело в том, что в процессе обучения сети, по всей видимости, приобретают странные, запутанные структуры, не имеющие смысла для человека. Исследователи любят говорить, что современный ИИ выращивают, как сад, а не строят, как мост.

Каммарата сделал больше многих других, чтобы утвердить это представление. Ранее он работал в OpenAI, где помогал разрабатывать методы, позволявшие исследователям заглядывать внутрь моделей, включая инструменты для изучения отдельных нейронов и определения того, что они представляют. Это немного напоминает то, как нейробиологи используют МРТ для изучения мозга. (MIT Technology Review включил этот подход, известный как механистическая интерпретируемость, в список 10 самых перспективных технологий 2025 года.)  

Ещё в 2020 году Каммарата и его коллеги изучали небольшую модель распознавания изображений под названием Inception v1. Рассматривая её нейроны, они заметили, что, похоже, те используются для одновременного распознавания нескольких вещей. Например, один нейрон реагировал и на изображения автомобилей, и на изображения кошек.

Исследователи пришли к выводу, что модель заставляет по меньшей мере некоторые нейроны выполнять несколько задач, возможно, чтобы вместить больше данных. Изучение других моделей, казалось, подтверждало это. Явление получило название суперпозиции: модели объединяли несвязанные понятия в отдельных нейронах. Вывод был очевиден: заглянув внутрь модели, вы обнаруживали огромный запутанный клубок.

Поэтому большинство исследований в области механистической интерпретируемости сосредоточено на способах распутать этот клубок. Но несмотря на несколько прорывов, прогресс идёт медленно. Современные модели, например новейшие LLM, настолько велики и сложны, что исследователи способны осмысливать лишь крошечные фрагменты за раз. Некоторые ведущие специалисты в этой области сомневаются, что когда-нибудь удастся понять LLM в мельчайших деталях.

Каммарата тоже был одним из них. «Я был настроен очень пессимистично», — говорит он. Но затем он решил по-настоящему присмотреться.

Одни только нейроны

В Goodfire Каммарата почти всё своё время проводит, заглядывая внутрь нейронных сетей. Он создал новые инструменты и использует команды ИИ-агентов, чтобы разобраться в увиденном. «Я тратил, не знаю, часов по десять в день, семь дней в неделю, почти весь последний год просто на изучение нейронов», — говорит он.

По его словам, он понял, что в нейронных сетях всё-таки есть определённая логика, даже если поначалу они кажутся бессмысленными. «Мы неправильно на это смотрели, — говорит он. — Думаю, нужно просто постараться немного сильнее и не сдаваться слишком быстро».

Каммарата почти описывает это как обращение в новую веру. Ранние эксперименты с такими моделями, как Inception v1, указывавшие на запутанность нейронных сетей, породили своего рода предвзятость подтверждения. По его словам, когда исследователи смотрели на новую модель, они ожидали, что не смогут в ней разобраться. «Каждый раз, когда я не мог что-то понять, я думал: “Ого, этот процесс распутывания ещё важнее, чем я предполагал, потому что без него я не могу добиться никакого прогресса”».

Но чем дольше Каммарата рассматривал нейроны, тем больше, по его словам, всё начинало становиться на свои места. «Не все они безупречны, но я ожидал, что понятным окажется либо ничто, либо совсем немного, — говорит он. — А на деле мне удалось, например, картировать целые схемы».

Снова автомобили и кошки

Каммарата применил свой новый подход — и своих новых агентов — к Inception v1. «Я изучил её, наверное, за тысячи часов», — говорит он. Но теперь, взглянув на модель свежим взглядом, Каммарата обнаружил то, что, как ему кажется, в первый раз они поняли неправильно. Возьмём нейрон, реагировавший на автомобили и кошек. Вместо того чтобы спрашивать, почему несколько несвязанных вещей оказались упакованы в один нейрон, он попытался выяснить, что у них может быть общего.

И тут его осенило: это была V-образная форма. «Я смотрел на те же изображения — технически ничего не изменилось, — говорит он. — Но теперь я верил, что нейронные сети определяют закономерности, и поэтому посмотрел на всё иначе. Наверное, это заняло у меня пять секунд».

Оказалось, что модель распознавания изображений помещала автомобили и кошек в одно и то же место, потому что на фотографиях и тех, и других часто присутствует заметная форма, напоминающая букву V: морда кошки или передняя часть автомобиля, снятого сбоку.

Каммарата провёл несколько экспериментов, чтобы проверить, на что ещё реагирует этот нейрон, и обнаружил среди прочего угол бильярдного стола, заострённый нос японского скоростного поезда и пожарный катер, выбрасывающий воду в воздух с палубы. Он также проверил, что отключает нейрон, и обнаружил среди таких объектов изображения с округлой формой O — своего рода анти-V.

Модель хранила кошек и автомобили в одном месте, потому что на некотором уровне они выглядят одинаково, говорит Каммарата. «И я подумал: “Ого, кажется, я вообще неправильно понимал нейронные сети”».

Каммарата не утверждает, что уже полностью понимает, как работают LLM (или любые другие модели). Он говорит, что больше не считает полное понимание невозможным. «Раньше я думал, что нам предстоит решить несколько действительно очень сложных задач», — говорит он.

«Теперь мне кажется, что если бы у меня было 100 000 лет, чтобы просматривать передовую языковую модель, разбирая по одной схеме за раз, то у меня были бы довольно хорошие шансы прийти к глубокому пониманию».

Он добавляет: «И если это действительно так, то всё складывается очень хорошо, ведь вскоре у нас появятся невероятно умные агенты в колоссальном масштабе. А то, на что мне потребовалось бы, знаете, 100 000 лет, мы сможем сделать гораздо быстрее. Автоматизированные учёные становятся всё лучше».

Безграничный оптимизм

Созданная Google в 2014 году, Inception v1 намного проще любой современной передовой модели. Каммарата и его коллеги начали изучать современные LLM и планируют вскоре опубликовать технические результаты этой работы. Многие исследователи с нетерпением ждут подробностей. «Я ценю то, что он изучил тысячи примеров, но даже большое количество примеров в данном случае не заменяет строгой оценки», — говорит Поттс из Стэнфордского университета.

Тем временем некоторые активно выступают против возникшего ажиотажа. Джейкоб Хилтон из расположенного в Беркли некоммерческого исследовательского центра Alignment Research Center, ранее сотрудничавший с Каммаратой, не считает его заявления настолько важными, как их представляют.

В серии публикаций в X Хилтон отмечает, что исследователи понимают менее 0,01% внутренних процессов передовых LLM. «Я всегда ценю безграничный оптимизм Ника [Каммараты], когда мы общаемся, но, к сожалению, это создаёт у публики нереалистичное представление о состоянии данной области, — написал он. — Для полного понимания нам нужно выйти за пределы нейронов и объяснить, как они соединяются, образуя схемы. Как обстоят дела с этим? Если мы стремимся к полному пониманию, то перспективы не слишком хороши!»

Нил Нанда из Google DeepMind, который вместе с Каммаратой стоял у истоков механистической интерпретируемости, также настроен скептически. «Это интересная работа, но я не думаю, что она существенно меняет общую картину интерпретируемости», — написал он в X.

Нанда согласен, что понимание функций отдельных нейронов может помочь исследователям выяснить, почему конкретные модели ведут себя неправильно. Но, как и Хилтон, он отмечает, что нейроны — лишь один элемент гораздо более масштабной головоломки. «Я не согласен с более масштабными выводами некоторых людей, будто это является существенным прогрессом на пути к амбициозной обратной разработке [или] решению проблемы интерпретируемости», — написал он.  

Каммарата признаёт, что многие восприняли его слова слишком широко: «Это не бесконечно хорошие новости и не означает, что всё уже решено, — говорит он. — Остаётся множество открытых вопросов, например о том, насколько важны сочетания нейронов по сравнению с отдельными нейронами».

Каммарата говорит, что его публикация появилась в момент, когда люди ищут надежду. В частности, он считает, что сообществу специалистов по безопасности ИИ — исследователей и политиков, больше всего обеспокоенных тем, что мощные модели несут огромные риски, — сейчас очень нужна поддержка. По его словам, они считают, что ситуация складывается плохо и что, даже если всё в итоге закончится благополучно, это произойдёт потому, что нам повезло, а не потому, что мы что-то исправили: «Я почти не слышу оптимистичных оценок».

Именно поэтому Каммарата считает важным то, что он говорит. Работа по выяснению того, как функционирует эта технология и, следовательно, как её контролировать, только началась. Но по крайней мере она не является безнадёжной с самого начала. «Думаю, наша задача — попытаться мыслить примерно так же, как нейронная сеть, — говорит он. — Полагаю, всё закончится довольно хорошо, потому что в некотором смысле она была спроектирована так, чтобы её можно было прочитать».