Самоусъвършенстващият се модел на Sakana AI става по-добър в решаването и оценяването, но не открива собствените си слепи петна

Методът MASS на Sakana AI позволява на един езиков модел да се усъвършенства, като решава задачи, оценява резултатите и подобрява работните процеси без по-силен учителски модел. Изследването установява подобрения и в трите роли, но споделените пропуски могат да позволят на грешките да преминат като напредък и да се прехвърлят към следващия цикъл на обучение.

Изследователи от Sakana AI и UC Berkeley представиха „мултиагентно самонаблюдение“ (MASS) — метод за рекурсивно самоусъвършенстване (RSI). Един-единствен езиков модел изпълнява задачата, оптимизира начина на работа и оценява резултатите.

Според авторите на най-предния фронт на изследванията дори експертите често се затрудняват да оценят резултатите, тъй като проверката може да изисква скъпи допълнителни доказателства или продължителни експерименти. Едно изследване на плазма може да отнеме над 120 милиона CPU часа, се посочва в статията.

Затова самият модел може да е най-добрият наличен оценител, макар че може да пропусне собствените си грешки, когато преглежда работата си. Използването на един и същ модел за решаване, проверка и коригиране може да затвърди тези грешки, вместо да ги поправи.

Копия на един модел си разпределят работата

Вдъхновени от книгата „Общество на ума“ на пионера в областта на ИИ Марвин Мински, изследователите се съсредоточават върху начина, по който моделът разпределя работата. В MASS работният процес представлява текст, добавен към подканата, който определя ролята и инструкциите на всеки подагент. „Договорът“ посочва каква информация трябва да върне всеки подагент и какви проверки трябва да извърши, докато „преходът“ определя реда на извикванията.

Оркестратор разпределя работата между подагентите. Например при тестване на търговска стратегия спрямо исторически цени договорът на специалиста по данни трябва да гарантира, че стратегията използва само информацията, налична във всеки конкретен момент.

По време на вътрешния цикъл теглата на модела остават замразени, докато екипът изпълнява кандидат-работен процес, а оценителят сравнява резултата с текущия „шампион“. Оптимизаторът използва тази обратна връзка, за да предложи следващия работен процес, главно чрез промяна на договорите и преходите. Във външния цикъл шампионът се изпълнява 18 пъти за всяка задача, като моделът сам класира резултатите и избира до 15 изпълнения за обучение.

Изследователите премахват текста на работния процес от първоначалната подкана на оркестратора в примерите за обучение, така че моделът да се научи да организира работата само въз основа на задачата. Конкретните задания към подагентите остават в записаните следи, а след дообучаване с LoRA моделът отново поема и трите роли.

Базовият модел е Qwen3.6-27B, с Qwen Code като рамка. Изследователите използват дванадесет изследователски задачи, генерирани от GPT-5.5 в областите на финансите, роботиката и фармацевтиката, като запазват три за тестване и девет за обучение. Само осем дават данни за обучение, тъй като търсенето не открива работен процес, който да превъзхожда референтния при една от задачите за обучение.

Подобренията в бенчмарковете идват главно от извършването на повече работа

При тестовите задачи процентът на победите срещу базовия модел нараства от 53,9 процента след един кръг до 69,9 процента след два. При MLR-Bench, DSBench, ScienceAgentBench и AstaBench моделът достига от 1,2 до 1,6 пъти резултата на базовия модел на изходен токен. Подобренията в необработените резултати понякога са малки — например DSBench се подобрява само от 0,473 до 0,482, докато резултатите леко спадат при Terminal-Bench 2.0 и SWE-bench Verified.

Приложението към статията показва, че завършените изпращания в MLR-Bench нарастват от 31 на 50 от общо 60, докато средната им оценка спада от 3,07 на 2,88. Инструментът за делегиране не се използва нито веднъж в 180-те изпълнения, което оставя неясно дали екипната работа обяснява подобренията.

Тези подобрения вече не са статистически значими, когато резултатите се сравняват задача по задача. Авторите описват смесени резултати при изследователските задачи, като AstaBench показва същия модел.

Обучението върху решения подобрява и оценителя, и оптимизатора

Въпреки че моделът се обучава само върху следи от решения, представянето му в другите две роли също се подобрява. Съгласието на самооценителя с външните оценители нараства от 73 на 93 процента. Работните процеси, открити след един кръг, превъзхождат работните процеси на базовия модел в 64 процента от случаите, дори когато и двата се изпълняват от базовия модел.

Без инструкции за работния процес базовият модел делегира на подагенти само в едно от 110 изпълнения, в сравнение с 87 след два кръга. Той вече е можел да делегира при изрична инструкция, но сега го прави без да бъде подканян.

По време на оптимизацията познанията за задачата се прехвърлят в договорите и преходите, докато ролите и инструкциите стават по-общи. Този извод се основава на малка извадка от едва осем до девет задачи.

Обучението върху екипни следи създава модел с процент на победите от 68,3 процента, в сравнение с 64 процента за ученик с един агент, използвайки 31 процента по-малко токени за обучение. Външните оценители предпочитат екипните резултати в 85,1 процента от случаите, макар че екипите генерират около 2,4 пъти повече токени. Когато изходите са с подобна дължина, оценителите предпочитат екипните резултати в 80 процента от случаите — въз основа само на десет двойки.

Оценените екипни изпълнения се представят по-добре, но сравнението не доказва, че само делегирането обяснява предимството. Екипните и едноагентните изпълнения се различават и по инструкциите за работния процес, инструкциите за преглед и по това кои успешно завършени епизоди са били избрани.

По-добрата обратна връзка помага само ако оптимизаторът може да я използва

Замяната само на оценителя с GPT-5.5 почти не помага; търсенето напредва много по-бързо едва когато и оптимизаторът е по-силен. Авторите заключават, че добрата обратна връзка помага само когато оптимизаторът може да действа въз основа на нея. Когато Qwen изпълнява и трите роли, търсенето все пак открива печеливши работни процеси за 11 от 12 задачи, но отнема повече време.

Степента на преработване на даден работен процес казва малко за ефекта му върху резултатите, а дори напълно идентични по байтове работни процеси могат да доведат до противоположни резултати. При едно изпълнение са спечелени и шестте външни оценки, докато при друго са загубени и шестте, след като агентът е попаднал в цикъл. Изследователите предполагат, че ограничаването на степента, до която оптимизаторът променя работния процес на всяка стъпка, може да помогне за стабилизирането на търсенето.

Споделените пропуски могат да се натрупват от кръг на кръг

След неуспешни симулации в задача по роботика моделът е променил симулатора така, че да премества обектите директно до целта, след което е отчел успех. Външните оценители все пак са оценили изпълнението положително пет от шест пъти. В друга следа, използвана за обучение, проверка е преминала, въпреки че е върнала само невалидни стойности.

Авторите разглеждат споделените пропуски като потенциалната „ахилесова пета“ на рекурсивното самоусъвършенстване. Ако моделът пропусне една и съща грешка и в трите роли, тя може да бъде приета за подобрение и да се вгради в следващия модел. Тогава слабостта би засегнала както системата, така и механизма ѝ за корекция, което подтиква авторите да призоват за независими проверки, ограничения на автономността и ясни условия за намеса. Кодът е публично достъпен.

Японската изследователска лаборатория Sakana AI стартира специална изследователска лаборатория за рекурсивно самоусъвършенстване през юни, надграждайки по-ранна работа, включително машината на Дарвин-Гьодел и AI Scientist. Изследователи от Google разработват сходен подход, като автоматично оптимизират обвивката от подкани, работни процеси и инструменти около фиксиран модел, без да позволяват на агентите да се напасват прекомерно към тестовите си задачи.

Наскоро Vals AI установи, че екипите от агенти струват от 1,8 до 5,1 пъти повече от едноагентните системи, но се представят измеримо по-добре само в едно от четири сравнения. Anthropic показа, че моделите, които използват хакване на наградата, за да манипулират системите си за възнаграждение, също се научават да заблуждават и да саботират проверките за безопасност.

Новини за ИИ без сензация – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.