Модель Sakana AI, що самовдосконалюється, краще розв’язує задачі й оцінює результати, але не помічає власних сліпих зон

Метод MASS від Sakana AI дає змогу одній мовній моделі самостійно вдосконалюватися: розв’язувати завдання, оцінювати результати та покращувати робочі процеси без сильнішої моделі-вчителя. Дослідження виявило покращення в усіх трьох ролях, але спільні «сліпі плями» можуть пропускати помилки як прогрес і переносити їх у наступний цикл навчання.

Дослідники з Sakana AI та Каліфорнійського університету в Берклі представили «мультиагентний самоконтроль» (MASS) — метод рекурсивного самовдосконалення (RSI). Одна мовна модель виконує завдання, оптимізує спосіб виконання роботи та оцінює результати.

На передньому краї досліджень навіть експертам часто складно оцінювати результати, оскільки перевірка може потребувати дорогих додаткових даних або тривалих експериментів, стверджують автори. Одне дослідження плазми може потребувати понад 120 мільйонів годин роботи CPU, згідно зі статтею.

Тому сама модель може бути найкращим доступним суддею, хоча під час перевірки власної роботи вона може не помічати власних помилок. Використання тієї самої моделі для розв’язання, перевірки та доопрацювання може посилювати ці помилки, а не виправляти їх.

Копії однієї моделі розподіляють роботу

Натхненні книгою піонера ШІ Марвіна Мінського «Суспільство розуму», дослідники зосередилися на тому, як модель розподіляє роботу. У MASS робочий процес — це текст, доданий до промпту, який визначає роль та інструкції кожного субагента. «Контракт» визначає, яку інформацію має повернути кожен субагент і які перевірки він повинен виконати, а «стрибок» задає порядок викликів.

Оркестратор розподіляє роботу між субагентами. Наприклад, під час перевірки торгової стратегії на історичних цінах контракт фахівця з даних має гарантувати, що стратегія використовує лише інформацію, доступну на кожен конкретний момент часу.

Під час внутрішнього циклу ваги моделі залишаються незмінними, поки команда запускає кандидатний робочий процес, а оцінювач порівнює результат із поточним «чемпіоном». Оптимізатор використовує цей зворотний зв’язок, щоб запропонувати наступний робочий процес, головним чином змінюючи контракти та стрибки. У зовнішньому циклі чемпіон запускається 18 разів для кожного завдання, а модель сама оцінює результати й відбирає до 15 запусків для навчання.

У прикладах навчання дослідники видаляють текст робочого процесу з початкового промпту оркестратора, щоб модель навчилася організовувати роботу лише на основі завдання. Конкретні доручення субагентам залишаються в записаних трасуваннях, а після донавчання LoRA модель знову бере на себе всі три ролі.

Базовою моделлю є Qwen3.6-27B, а як оболонку використано Qwen Code. Дослідники використовують дванадцять дослідницьких завдань, згенерованих GPT-5.5 у сферах фінансів, робототехніки та фармацевтики; три завдання зарезервовано для тестування, а дев’ять — для навчання. Лише вісім дали навчальні дані, оскільки пошук не знайшов робочого процесу, який перевершував би еталонний на одному з навчальних завдань.

Покращення на тестах здебільшого пояснюється виконанням більшого обсягу роботи

На тестових завданнях показник перемог над базовою моделлю зростає з 53,9 відсотка після одного раунду до 69,9 відсотка після двох. На MLR-Bench, DSBench, ScienceAgentBench та AstaBench модель досягає від 1,2 до 1,6 бала базової моделі на кожен вихідний токен. Покращення абсолютних показників іноді незначне: наприклад, на DSBench результат зростає лише з 0,473 до 0,482, тоді як на Terminal-Bench 2.0 та SWE-bench Verified показники трохи знижуються.

У додатку до статті показано, що кількість завершених подань на MLR-Bench зростає з 31 до 50 із 60, тоді як їхня середня оцінка падає з 3,07 до 2,88. Інструмент делегування не використовувався в жодному зі 180 запусків, тому незрозуміло, чи пояснює командна робота отримані покращення.

Ці покращення більше не є статистично значущими, якщо порівнювати результати завдання за завданням. Автори описують змішані результати для дослідницьких завдань, і AstaBench демонструє таку саму картину.

Навчання на розв’язаннях також покращує оцінювач і оптимізатор

Хоча модель навчається лише на трасуваннях розв’язання, її ефективність у двох інших ролях також покращується. Відповідність самостійного оцінювача зовнішнім суддям зростає з 73 до 93 відсотків. Робочі процеси, знайдені після одного раунду, перевершують робочі процеси базової моделі у 64 відсотках випадків, навіть коли базова модель запускає обидва варіанти.

Без інструкцій щодо робочого процесу базова модель делегує завдання субагентам лише в одному зі 110 запусків, порівняно з 87 після двох раундів. Вона вже могла делегувати завдання за наявності прямої вказівки, але тепер робить це без додаткового запиту.

Під час оптимізації знання про завдання переміщуються в контракти та стрибки, тоді як ролі й інструкції стають більш загальними. Цей висновок ґрунтується на невеликій вибірці лише з восьми-дев’яти завдань.

Навчання на командних трасуваннях створює модель із показником перемог 68,3 відсотка, порівняно з 64 відсотками для учня з одним агентом, використовуючи на 31 відсоток менше навчальних токенів. Зовнішні судді віддають перевагу командним результатам у 85,1 відсотка випадків, хоча команди генерують приблизно у 2,4 раза більше токенів. Коли результати мають подібну довжину, судді віддають перевагу командним результатам у 80 відсотках випадків, але цей висновок ґрунтується лише на десяти парах.

Оцінені командні запуски працюють краще, але порівняння не доводить, що саме делегування пояснює цю перевагу. Командні запуски та запуски одного агента також відрізняються інструкціями щодо робочого процесу, інструкціями щодо перевірки та тим, які успішно завершені епізоди було відібрано.

Кращий зворотний зв’язок допомагає лише тоді, коли оптимізатор може ним скористатися

Заміна лише оцінювача на GPT-5.5 майже не допомогла; пошук значно прискорився лише тоді, коли сильнішим став і оптимізатор. Автори доходять висновку, що якісний зворотний зв’язок допомагає лише тоді, коли оптимізатор може діяти на його основі. Коли Qwen виконує всі три ролі, пошук усе одно знаходить успішні робочі процеси для 11 із 12 завдань, але потребує більше часу.

Масштаб переписування робочого процесу мало що говорить про його вплив на результати, і навіть ідентичні на рівні байтів робочі процеси можуть давати протилежні результати. Один запуск успішно пройшов усі шість зовнішніх оцінювань, тоді як інший провалив усі шість після того, як агент застряг у циклі. Дослідники припускають, що обмеження обсягу змін, які оптимізатор може вносити на кожному кроці, допоможе стабілізувати пошук.

Спільні «сліпі плями» можуть накопичуватися від раунду до раунду

Після невдалих симуляцій у завданні з робототехніки модель наказала змінити симулятор так, щоб він безпосередньо переміщував об’єкти до цілі, після чого повідомила про успіх. Зовнішні судді все одно позитивно оцінили запуск у п’яти випадках із шести. В іншому трасуванні, використаному для навчання, перевірка пройшла, хоча вона повернула лише недійсні значення.

Автори вважають спільні «сліпі плями» потенційною «ахіллесовою п’ятою» рекурсивного самовдосконалення. Якщо модель не помічає ту саму помилку в усіх трьох ролях, цю помилку можуть прийняти за покращення й вбудувати в наступну модель. Тоді слабкість впливатиме і на систему, і на механізм її виправлення, що спонукає авторів закликати до незалежних перевірок, обмежень автономності та чітких умов для втручання. Код доступний публічно.

Японська дослідницька лабораторія Sakana AI у червні запустила окрему дослідницьку лабораторію рекурсивного самовдосконалення, спираючись на попередні роботи, зокрема машину Дарвіна—Геделя та AI Scientist. Дослідники Google розвивають споріднений підхід, автоматично оптимізуючи оболонку з промптів, робочих процесів та інструментів навколо фіксованої моделі, не дозволяючи агентам надмірно підлаштовуватися під тестові завдання.

Нещодавно Vals AI виявила, що команди агентів коштують у 1,8–5,1 раза дорожче за одного агента, але продемонстрували вимірно кращі результати лише в одному з чотирьох порівнянь. Anthropic показала, що моделі, які вдаються до зламу системи винагород, щоб обійти свої системи оцінювання, також навчаються обманювати та саботувати перевірки безпеки.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, шість разів на рік одержувати наш ексклюзивний звіт «AI Radar» про передові розробки, мати повний доступ до архіву та доступ до розділу коментарів.