Изследователи от Perplexity и NVIDIA представиха JOLT: метод за подсилващо обучение с общи учител и ученик

Perplexity заедно с екипа на NVIDIA представи JOLT, нов метод за посттренинг на езикови модели. JOLT означава Joint On-policy Learning and Teaching. Той обучава един модел в 2 роли. Учителят вижда привилегирована информация, а ученикът — не. Ключовата промяна е, че учителят също се обучава, така че обратната му връзка да остане приложима. При MATH JOLT постигна точността на GRPO с 6,5 пъти по-малко обработени обучаващи токени. За екипите, които използват RL посттренинг, това е пряк въпрос за изчислителните ресурси.

Накратко

• Какво представлява: метод за посттренинг.
• Размер: тестван върху Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct и DeepSeek-V2-Lite.
• Работи върху: 1 споделен модел изпълнява и двете роли, така че няма отделен модел-учител. Обучителен хардуер: не е разкрит.
• Производителност: JOLT+ показва най-високия среден резултат във всяка тествана конфигурация спрямо GRPO, OPSD и π-Distill.
• Най-добър резултат: 72,09% успеваемост при state-test теста на AppWorld с JOLT+ спрямо 62,20% при GRPO (+9,9 пункта).
• Най-слаб резултат: JOLT без награда за ученика постига 51,92% в AppWorld, под резултата на GRPO.

Какво представлява Perplexity JOLT?

JOLT е метод за самодистилация от Perplexity и NVIDIA, който обучава един модел едновременно като учител и ученик. Той се основава на On-Policy Self-Distillation (OPSD).

Защо RL посттренингът се нуждае от по-добър учител?

RL с награда за резултата, като например GRPO, дава една награда за всеки опит. Този сигнал е разреден. Той не показва кои токени са помогнали. При дълги агентски задачи успехите са редки, затова обучението е бавно.

On-Policy Distillation отстранява разредеността, като кара по-силен учител да оценява всеки токен на ученика. OPSD премахва отделния учител. Същият модел се превръща в учител, когато получи привилегирован контекст, например проверено решение.

Изследователският екип твърди, че това не е достатъчно. Учителят, който разполага с отговора, може да използва преки пътища, които ученикът не може да следва. Неговите насоки може да са извън възможностите на ученика. В статията несъгласието между учителя и ученика при OPSD нараства по време на обучението върху MATH.

Как работи JOLT?

JOLT обучава едновременно и двете роли на един споделен модел:

• Учител: получава привилегирована информация. Той се обучава чрез награди за резултата, както и чрез KL наказание, което го поддържа близо до ученика.
• Ученик: вижда само задачата. Той се обучава от сигнал за дистилация на ниво токен от учителя при собствените си опити.
• On-policy: всяка роля се обучава от траектории, генерирани в собствения ѝ контекст.
• JOLT+: добавя собствената награда за резултата на ученика към обновяването на ученика.

В центъра на изследването стои учител, който е „съгласуван с наградата“. Неговото обновяване чрез дистилация трябва да сочи в същата посока като градиента на наградата на ученика. Идеалният учител предпочита действия с високо предимство, като същевременно остава близо до политиката на ученика.

Как се представя JOLT на бенчмарковете?

Изследователският екип тества 5 конфигурации, всяка с различен базов модел и тип привилегирована информация:

• GSM8K: DeepSeek-V2-Lite; учителят получава проверения отговор.
• MATH: Qwen3-0.6B; учителят получава подробни референтни решения.
• LiveCodeBench v6: Qwen3-8B върху 131 задачи; учителят получава работещо решение от съседен вариант или обратна връзка от изпълнението.
• AppWorld: Qwen3-4B-Instruct; учителят получава обобщения на предишни опити.
• Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct, обучен върху TMax; учителят получава частни файлове за проверка.

JOLT+ постигна най-високия среден резултат във всяка конфигурация. Спрямо GRPO, най-силния базов метод, той спечели 1,5 пункта при GSM8K. Освен това спечели 4,2 пункта при MATH, 3,0 при LCBv6 и 9,9 при AppWorld. При Terminal-Bench 2.1 JOLT+ достигна 10,96% pass@1 и 34,83% pass@32. GRPO постигна съответно 8,25% и 30,34%.

Дори стандартният JOLT, без награда за ученика, надмина GRPO при MATH: 72,14% спрямо 68,36%.

Колко изчислителни ресурси за обучение спестява JOLT?

При MATH изследователският екип съпостави кривите на точността с бюджетите за обучаващи токени. При точност от 63,44% контролният пункт на GRPO използва 8,40 млн. обработени обучаващи токени. Напаснатата крива на JOLT изисква 1,30 млн., което представлява 6,5-кратно намаление. Ако се броят само токените в завършените отговори, разликата нараства до около 13 пъти. При целеви точности между 55% и 65% спестяванията варират от 4,3 до 7,4 пъти при обработените токени.

JOLT също достига по-високо плато. Той се стабилизира близо до 72% спрямо около 70% при GRPO и 62% при OPSD.

Как се сравнява JOLT с GRPO, OPSD и π-Distill?

Всички резултати по-долу са от собствените изпълнения на Perplexity в статията за JOLT, с хиперпараметри, настроени за всеки метод. Описанията на методите водят към собствените им статии.

Характеристика	JOLT	JOLT+	GRPO	OPSD	π-Distill
Отделен модел-учител	Не	Не	Няма учител	Не (самоучител)	Не (споделен модел)
Учителят се обучава	Да (награда + KL към ученика)	Да (награда + KL към ученика)	Неприложимо	Не	Да (регулиран чрез KL)
Сигнал за ученика	Плътна дистилация, on-policy	Дистилация + награда за резултата	Групово относителна награда за резултата	Плътна дистилация, on-policy	Off-policy, траектории на учителя
MATH, Qwen3-0.6B (%)	72,14 ± 0,90	72,59 ± 1,17	68,36 ± 3,73	61,20 ± 2,10	42,25 ± 1,10
LCBv6, Qwen3-8B (%)	47,64 ± 1,10	49,08 ± 0,41	46,13 ± 1,83	45,34 ± 1,50	38,23 ± 1,72
AppWorld, Qwen3-4B (%)	51,92 ± 5,30	72,09 ± 6,01	62,20 ± 2,83	29,49 ± 2,48	59,85 ± 2,97
Terminal-Bench 2.1 pass@1 (%)	6,56	10,96	8,25	2,82	4,99
Terminal-Bench 2.1 pass@32 (%)	25,69	34,83	30,34	16,90	22,31
Код	Все още не е публикуван	Все още не е публикуван	Не е разкрит	GitHub	Не е разкрит

Базов модел за Terminal-Bench: 5,18% pass@1, 22,81% pass@32.

Основни изводи

• 1 модел изпълнява ролите на учител и ученик, като учителят също се обучава.
• 6,5 пъти по-малко обработени токени от GRPO при еднаква точност на MATH.
• JOLT+ надминава GRPO с 9,9 пункта при AppWorld.
• Стандартният JOLT все още изостава от GRPO при AppWorld и Terminal-Bench.

---

Вижте статията в arXiv и публикацията в изследователския блог на Perplexity. Цялата заслуга е на изследователя по този проект. Също така не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.

Имате нужда от партньор за популяризиране на вашето GitHub Repo ИЛИ Hugging Face Page ИЛИ представяне на продукт ИЛИ уебинар и т.н.? Свържете се с нас