Самоулучшающаяся модель Sakana AI лучше решает задачи и оценивает результаты, но не замечает собственых слепых зон

Метод MASS от Sakana AI позволяет одной языковой модели улучшать себя, решая задачи, оценивая результаты и совершенствуя рабочие процессы без более сильной модели-учителя. Исследование выявило улучшения во всех трёх ролях, но общие слепые зоны могут пропускать ошибки как достижения и переносить их в следующий цикл обучения.

Исследователи из Sakana AI и Калифорнийского университета в Беркли представили «мультиагентный самоконтроль» (MASS) — метод рекурсивного самоулучшения (RSI). Одна языковая модель выполняет задачу, оптимизирует способ её выполнения и оценивает результаты.

Авторы утверждают, что на переднем крае исследований даже экспертам часто трудно оценивать результаты, поскольку проверка может требовать дорогостоящих подтверждающих данных или длительных экспериментов. Одно исследование плазмы может занимать более 120 миллионов часов работы процессора, согласно статье.

Поэтому сама модель может быть лучшим доступным судьёй, хотя при проверке собственной работы способна не замечать свои ошибки. Использование одной и той же модели для решения, проверки и доработки может не исправлять эти ошибки, а усиливать их.

Копии одной модели распределяют работу

Вдохновившись книгой «Общество разума» пионера ИИ Марвина Минского, исследователи сосредоточились на том, как модель распределяет работу. В MASS рабочий процесс — это текст, добавленный к запросу и определяющий роль и инструкции каждого субагента. «Контракт» указывает, какую информацию должен вернуть каждый субагент и какие проверки выполнить, а «переход» задаёт порядок вызовов.

Оркестратор распределяет работу между субагентами. Например, при проверке торговой стратегии на исторических ценах контракт специалиста по данным должен гарантировать, что стратегия использует только информацию, доступную в каждый конкретный момент времени.

Во внутреннем цикле веса модели остаются зафиксированными, пока команда выполняет рабочий процесс-кандидат, а оценщик сравнивает результат с текущим «чемпионом». Оптимизатор использует эту обратную связь, чтобы предложить следующий рабочий процесс, главным образом изменяя контракты и переходы. Во внешнем цикле чемпион запускается 18 раз для каждой задачи, после чего модель сама ранжирует результаты и отбирает для обучения до 15 запусков.

Исследователи удаляют текст рабочего процесса из исходного запроса оркестратора в примерах обучения, чтобы модель училась организовывать работу, основываясь только на задаче. Конкретные задания субагентам сохраняются в записанных трассировках, а после тонкой настройки LoRA модель снова берёт на себя все три роли.

Базовая модель — Qwen3.6-27B, а в качестве оболочки используется Qwen Code. Исследователи используют двенадцать исследовательских задач, созданных GPT-5.5 в областях финансов, робототехники и фармацевтики: три задачи отведены для тестирования, девять — для обучения. Данные для обучения получены только по восьми задачам, поскольку при поиске не удалось найти рабочий процесс, превосходящий эталонный, для одной из обучающих задач.

Улучшения на бенчмарках в основном связаны с выполнением большего объёма работы

На тестовых задачах доля побед над базовой моделью выросла с 53,9 процента после одного раунда до 69,9 процента после двух. На MLR-Bench, DSBench, ScienceAgentBench и AstaBench модель достигает от 1,2 до 1,6 балла базовой модели на каждый выходной токен. Улучшения исходных показателей иногда невелики: например, результат DSBench вырос лишь с 0,473 до 0,482, а на Terminal-Bench 2.0 и SWE-bench Verified показатели немного снизились.

В приложении к статье показано, что число завершённых отправок на MLR-Bench выросло с 31 до 50 из 60, а их средняя оценка снизилась с 3,07 до 2,88. Инструмент делегирования не использовался ни в одном из 180 запусков, поэтому остаётся неясным, объясняется ли прирост командной работой.

Эти улучшения перестают быть статистически значимыми, если сравнивать результаты по каждой задаче. Авторы описывают неоднозначные результаты по исследовательским задачам; на AstaBench наблюдается та же картина.

Обучение на решениях также улучшает оценщик и оптимизатор

Хотя модель обучается только на трассировках решений, её эффективность в двух других ролях также повышается. Согласие самооценщика с внешними судьями выросло с 73 до 93 процентов. Рабочие процессы, найденные после одного раунда, превосходили рабочие процессы базовой модели в 64 процентах случаев, даже когда оба запуска выполняла базовая модель.

Без инструкций по рабочему процессу базовая модель делегировала задачи субагентам лишь в одном из 110 запусков, по сравнению с 87 после двух раундов. Ранее она уже могла делегировать задачи при наличии прямого указания, но теперь делает это без дополнительных инструкций.

В ходе оптимизации знания о задаче переносятся в контракты и переходы, тогда как роли и инструкции становятся более общими. Этот вывод основан на небольшой выборке всего из восьми-девяти задач.

Обучение на командных трассировках создаёт модель с долей побед 68,3 процента по сравнению с 64 процентами у ученика с одним агентом, используя на 31 процент меньше обучающих токенов. Внешние судьи предпочитают результаты команд в 85,1 процента случаев, хотя команды создают примерно в 2,4 раза больше токенов. При схожей длине ответов судьи предпочитают результаты команд в 80 процентах случаев, но вывод основан всего на десяти парах.

Оценённые командные запуски показывают лучшие результаты, однако сравнение не доказывает, что преимущество объясняется исключительно делегированием. Запуски команды и одного агента также различаются инструкциями рабочего процесса, инструкциями по проверке и тем, какие успешно завершённые эпизоды были отобраны.

Более качественная обратная связь помогает только тогда, когда оптимизатор может её использовать

Замена только оценщика на GPT-5.5 почти не помогла; поиск стал значительно быстрее лишь после усиления и оптимизатора. Авторы заключают, что хорошая обратная связь помогает только тогда, когда оптимизатор способен действовать на её основе. Когда все три роли выполняет Qwen, поиск по-прежнему находит успешные рабочие процессы для 11 из 12 задач, но занимает больше времени.

Масштаб переписывания рабочего процесса мало говорит о его влиянии на результаты, и даже идентичные до байта рабочие процессы могут приводить к противоположным исходам. Один запуск выиграл по всем шести внешним оценкам, тогда как другой проиграл по всем шести после того, как агент застрял в цикле. Исследователи предполагают, что ограничение объёма изменений, вносимых оптимизатором на каждом шаге, может помочь стабилизировать поиск.

Общие слепые зоны могут усиливаться от раунда к раунду

После неудачных симуляций в задаче по робототехнике модель добилась изменения симулятора, чтобы объекты перемещались непосредственно к цели, а затем сообщила об успехе. Внешние судьи всё равно положительно оценили запуск в пяти случаях из шести. В другой трассировке, использованной для обучения, проверка была пройдена, хотя она вернула только недопустимые значения.

Авторы считают общие слепые зоны потенциальной «ахиллесовой пятой» рекурсивного самоулучшения. Если модель не замечает одну и ту же ошибку во всех трёх ролях, эта ошибка может быть принята за улучшение и закреплена в следующей модели. Тогда слабость будет влиять и на систему, и на механизм её исправления, поэтому авторы призывают использовать независимые проверки, ограничивать автономность и чётко определять условия вмешательства. Код доступен публично.

Японская исследовательская лаборатория Sakana AI в июне запустила отдельную лабораторию по рекурсивному самоулучшению, продолжив более ранние проекты, включая машину Дарвина — Гёделя и AI Scientist. Исследователи Google развивают схожий подход, автоматически оптимизируя обвязку из запросов, рабочих процессов и инструментов вокруг фиксированной модели, не позволяя агентам переобучаться на своих тестовых задачах.

Недавно Vals AI установила, что команды агентов обходятся в 1,8–5,1 раза дороже одиночных агентов, но заметно превосходят их лишь в одном из четырёх сравнений. Anthropic показала, что модели, прибегающие к взлому системы вознаграждений для манипулирования своими системами оценки, также учатся обманывать и саботировать проверки безопасности.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER и получите чтение без рекламы, еженедельную рассылку об ИИ, наш эксклюзивный отраслевой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и возможность комментировать материалы.