Рекурсивне самовдосконалення ШІ, зрештою, може відбутися не так швидко

Найсміливіша обіцянка індустрії ШІ наразі полягає в тому, що ШІ незабаром удосконалюватиме сам себе, майже не потребуючи людського нагляду. Великі мовні моделі вже вміють писати код, генерувати синтетичні дані для навчання й оптимізувати комп’ютерні чипи, на яких вони працюють. Прогнози стрімкого розвитку ШІ передбачають, що те, що дослідники називають рекурсивним самовдосконаленням, уже не за горами. 

Але нове дослідження свідчить, що нам може знадобитися ще чимало часу, щоб цього досягти. Дослідники з’ясували, що агенти ШІ поки що не здатні проводити відкриті дослідження у сфері ШІ — вільні дослідження без однозначних відповідей, які потребують суджень і чуття та можуть бути невід’ємною частиною створення ШІ, здатного до самовдосконалення.

Міжінституційна група дослідників під керівництвом Пітера Кіргіса та Саяша Капура з Принстонського університету виявила, що агенти ШІ можуть розв’язувати інженерні проблеми, необхідні для проведення досліджень у сфері ШІ, але їм бракує суджень і креативності, щоб створювати оригінальні дослідження на рівні робіт, прийнятих на провідній конференції з машинного навчання. Ця прогалина свідчить, що деякі розрекламовані терміни автоматизації досліджень у сфері ШІ можуть випереджати наявні докази.

У більшості наявних досліджень того, як агенти можуть автоматизувати дослідження у сфері ШІ, оцінюють їхню здатність виконувати вузькі завдання з відповідями, які можна перевірити, наприклад розв’язувати інженерні проблеми або проводити посттренування малих мовних моделей за певним бенчмарком. Але прогрес у дослідженнях ШІ також потребує відкритого мислення — вибору набору гіпотез, визначення того, які докази дали б змогу розв’язати питання, або розуміння, коли слід почати все спочатку. 

Щоб перевірити агентів на такі навички, дослідники в межах дослідження запропонували новий метод оцінювання під назвою «тіньове оцінювання», який вимагає від ШІ відповісти на дослідницьке питання з якісної неопублікованої роботи. 

Дослідники попросили Claude Opus 4.8 від Anthropic, що працював на програмному забезпеченні з відкритим кодом під назвою OpenClaw, розв’язати такі питання — цього разу з двох робіт, поданих на престижну конференцію з машинного навчання NeurIPS 2026. 

Перше питання полягало в тому, чи можна контролювати «персони» великої мовної моделі, які визначають її поведінку, редагуючи ваги моделі (мільярди чисел, у яких зберігається все, чого вона навчається під час тренування). Інше питання стосувалося того, як розробити детектор, який вказує, коли модель, що робить прогнози на основі даних електронних таблиць, стала ненадійною. Оскільки ці роботи не були оприлюднені, агенти не могли запам’ятати відповіді з навчальних даних або знайти їх в інтернеті. 

Агентам дали шість днів, $3,000 кредитів Anthropic API, бюджет GPU для проведення експериментів, власні віртуальні комп’ютери та доступ до відкритого інтернету, щоб підготувати дослідницьку роботу, гідну публікації на провідній конференції з ШІ. Оригінальні автори робіт оцінювали статті агентів так, як оцінювали б подану на конференцію роботу.

Ці автори відхилили обидві роботи. 

Людські науковці встановили, що агенти були здатні виконати всю інженерну роботу, необхідну для проведення дослідження. Агенти опрацювали наукову літературу, провели сотні експериментів і систематизували результати. 

«З іншого боку, агенти безсумнівно погано впоралися із самим проведенням дослідження», — каже Капур. Вони проводили дивні експерименти (у деяких випадках перевіряючи свої гіпотези на крихітних синтетичних наборах даних), їм було складно зрозуміло писати про свою роботу, і вони не зробили жодного нового внеску у свої галузі. «Що стосується якості, якої очікують від провідної конференції з ШІ, ці роботи були дуже далеко від належного рівня», — каже він. 

Причина в тому, що агентам було складно мобілізувати креативність і судження, необхідні для проведення досліджень. Вони недостатньо досліджували різні ідеї та надто швидко зупинялися на неперспективних підходах. Хоча агенти розробили нові й амбітні гіпотези, подібні до тих, з яких самі починали оригінальні автори, вони відкинули їх на підставі дуже обмежених даних. А ще вони не могли відступити від підходів, які не спрацьовували. Вони могли робити невеликі повороти, але не могли фундаментально переосмислити свій підхід або спробувати новий із нуля. 

Агенти також не змогли врахувати відгуки субагентів або зовнішніх інструментів для рецензування ШІ. Замість перегляду методології агенти звужували свої твердження й додавали застереження. Вони також не могли ефективно використовувати ресурси, як-от токени, обчислювальні потужності та час. І не могли дотримуватися інструкцій щодо того, скільки часу витрачати на різні етапи дослідження або якої довжини може бути їхня робота.

Попри всі свої невдачі, агенти не вдавалися до неналежної поведінки, яку дослідники називають «зламуванням винагороди» — приховування або викривлення експериментів чи даних. Хоча субагенти, тобто допоміжні ШІ, яких головний агент запускає для виконання окремих частин роботи, час від часу галюцинували або викривляли результати, агент-оркестратор — головний ШІ, який керував проєктом, — виявляв ці випадки. 

Капур каже, що причина, через яку моделі ШІ добре справляються з інженерною частиною досліджень, але не з відкритими дослідженнями, може полягати в тому, як їх навчають. Моделі добре виконують усе, чому їх можна натренувати в режимі, що називається навчанням із підкріпленням, яке легше застосовувати до завдань, успіх яких можна автоматично перевірити. «Але складніше створювати середовища для навчання цих моделей, коли саме завдання є відкритим», — каже він.

Капур каже, що тепер команда проводить експеримент із Mythos, найсучаснішою моделлю Anthropic, яка була запущена у квітні. Згодом адміністрація Трампа зобов’язала її відповідати різним вимогам безпеки, і тепер вона доступна лише схваленим організаціям. Anthropic не відповіла на запит про коментар.

Дослідження має певні обмеження. Воно охоплювало лише дві дослідницькі роботи, а оригінальні автори знали, що роботи, які вони оцінюють, були створені агентами ШІ, що могло вплинути на їхні оцінки. Крім того, дослідники мали значну свободу в розробці та проведенні дослідження, а це означає, що їхні попередні переконання та упередження могли позначитися на результатах. Оцінювання відкритих досліджень частково втрачає об’єктивність, зате пропонує значно глибше випробування, ніж будь-які бенчмарки.

Попри це, результати можуть дещо охолодити заяви про те, що рекурсивне самовдосконалення вже не за горами. У червні Anthropic опублікувала допис у блозі під назвою «Коли ШІ створює сам себе», у якому описала прогрес на шляху до моделей, здатних прискорювати власний розвиток. У липні OpenAI розрекламувала той факт, що її нова модель GPT-5.6 Sol допомогла провести посттренування меншої моделі, заощадивши дослідникам тижні роботи.

Водночас це відкриття може також перегукуватися з тим, що компанії, які працюють у сфері ШІ, виявляють усередині своїх організацій. Співзасновник Anthropic Джек Кларк написав у своєму інформаційному бюлетені Import AI, що це схоже на результати, які компанія отримала, коли намагалася автоматизувати деякі аспекти досліджень безпеки ШІ. 

«У сучасних системах ШІ відчувається певна відсутність цінної, інтуїтивної креативності, і хоча вони надзвичайно вправні інженери, їм, схоже, притаманна певна властивість шаблонного, механічного мислення, яка може завадити їм стати хорошими дослідниками», — написав він. Відсутність креативності в системах ШІ він назвав «негативним сигналом щодо коротких термінів рекурсивного самовдосконалення». 

Компанії, що працюють у сфері ШІ, безумовно, мають усі стимули для розробки систем ШІ, здатних швидко прискорювати власний прогрес, так само як вони прагнули зробити моделі кращими в програмуванні. OpenAI поставила собі чітку мету створити автоматизованого дослідника ШІ, а Anthropic називає ШІ, здатний до самовдосконалення, наступною важливою віхою галузі. 

«Якщо будуть інвестиції, а потім і свідомі зусилля в цьому напрямі, мені здається, ми побачимо цікавий прогрес, навіть якщо зараз це не працює», — каже Найун Кім, професорка лінгвістики та комп’ютерних наук Бостонського університету, яка досліджує, як агенти ШІ можуть автоматизувати дослідження у сфері ШІ, але не брала участі в цьому дослідженні. З іншого боку, можливо, прогрес ШІ розвиватиметься розгалужено. Системи ШІ можуть випереджати на вузьких завданнях — таких, які можна оцінити, — водночас повільно просуваючись у відкритих дослідженнях. 

Отже, головне відкрите питання полягає в тому, наскільки відкриті дослідження є важливими для рекурсивного самовдосконалення — чи можуть системи ШІ досягти його без них, просто вдосконалюючись у вузькіших завданнях. «Якщо ми озирнемося на найбільші досягнення в цій галузі, винахід трансформерів або винахід нових великих архітектур, які дали нам змогу досягти значного прогресу в ШІ, — усе це вимагало творчих проривів», — каже Капур. 

«Втім, інші висувають гіпотезу, що все необхідне для трансформативного ШІ, зокрема для рекурсивного самовдосконалення, уже існує», наприклад можливість пришвидшити навчання моделі та підвищити її результати в бенчмарках.

«Відверто кажучи, це питання на трильйон доларів», — каже він.