Дослідники Perplexity та NVIDIA представили JOLT: метод підкріплювального навчання зі спільними вчителем і учнем

Perplexity разом із командою NVIDIA представила JOLT — новий метод постнавчання мовних моделей. JOLT розшифровується як Joint On-policy Learning and Teaching. Він навчає одну модель у 2 ролях. Учитель бачить привілейовану інформацію, а учень — ні. Ключова зміна полягає в тому, що вчитель також навчається, тому його зворотний зв’язок залишається придатним для використання. На MATH JOLT досяг точності GRPO, обробивши у 6,5 раза менше навчальних токенів. Для команд, які виконують RL-постнавчання, це безпосередньо стосується обчислювальних витрат.

Коротко

• Що це: метод постнавчання.
• Розмір: протестовано на Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct і DeepSeek-V2-Lite.
• Працює на: 1 спільній моделі, яка виконує обидві ролі, тож окрема модель-учитель не потрібна. Навчальне апаратне забезпечення: не розкрито.
• Продуктивність: JOLT+ демонструє найвищий середній показник у кожному протестованому сценарії порівняно з GRPO, OPSD і π-Distill.
• Найкращий результат: рівень проходження state-тесту AppWorld у 72,09% із JOLT+ проти 62,20% у GRPO (+9,9 пункту).
• Найгірший результат: JOLT без винагороди учня набирає 51,92% в AppWorld, що нижче за GRPO.

Що таке Perplexity JOLT?

JOLT — це метод самодистиляції від Perplexity та NVIDIA, який навчає одну модель як учителя й учня. Він розвиває ідеї On-Policy Self-Distillation (OPSD).

Навіщо RL-постнавчанню потрібен кращий учитель?

RL на основі винагороди за результат, як-от GRPO, надає одну винагороду за кожну спробу. Цей сигнал розріджений. Він не вказує, які токени допомогли. У тривалих агентних завданнях успіхи трапляються рідко, тому навчання відбувається повільно.

On-Policy Distillation усуває розрідженість, змушуючи сильнішого вчителя оцінювати кожен токен учня. OPSD усуває окремого вчителя. Та сама модель стає вчителем, коли отримує привілейований контекст, наприклад перевірений розв’язок.

Дослідницька команда стверджує, що цього недостатньо. Учитель, який має відповідь, може використовувати спрощення, недоступні учневі. Його вказівки можуть бути недосяжними для учня. У статті зазначено, що розбіжність між учителем та учнем в OPSD зростає під час навчання на MATH.

Як працює JOLT?

JOLT одночасно навчає обидві ролі однієї спільної моделі:

• Учитель: отримує привілейовану інформацію. Він навчається на винагородах за результат, а також за допомогою штрафу KL, який утримує його близько до учня.
• Учень: бачить лише завдання. Він навчається за допомогою поетокенного сигналу дистиляції від учителя під час власних спроб.
• On-policy: кожна роль навчається на траєкторіях, згенерованих у власному контексті.
• JOLT+: додає власну винагороду учня за результат до оновлення учня.

У центрі дослідження — «узгоджений із винагородою» учитель. Його оновлення на основі дистиляції має спрямовуватися в той самий бік, що й градієнт винагороди учня. Ідеальний учитель віддає перевагу діям із високою перевагою, залишаючись близьким до політики учня.

Як JOLT показує себе на бенчмарках?

Дослідницька команда протестувала 5 сценаріїв, кожен із різною базовою моделлю та типом привілейованої інформації:

• GSM8K: DeepSeek-V2-Lite; учитель отримує перевірену відповідь.
• MATH: Qwen3-0.6B; учитель отримує готові еталонні розв’язання.
• LiveCodeBench v6: Qwen3-8B на 131 задачі; учитель отримує розв’язання спорідненої задачі, яке проходить перевірку, або зворотний зв’язок від виконання.
• AppWorld: Qwen3-4B-Instruct; учитель отримує підсумки попередніх спроб.
• Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct, навчена на TMax; учитель отримує приватні файли верифікатора.

JOLT+ мав найвищий середній показник у кожному сценарії. Порівняно з GRPO, найсильнішим базовим методом, він отримав перевагу в 1,5 пункту на GSM8K. Також перевага становила 4,2 на MATH, 3,0 на LCBv6 і 9,9 в AppWorld. На Terminal-Bench 2.1 JOLT+ досяг 10,96% pass@1 і 34,83% pass@32. GRPO показав 8,25% і 30,34% відповідно.

Навіть звичайний JOLT без винагороди учня перевершив GRPO на MATH: 72,14% проти 68,36%.

Скільки обчислювальних ресурсів на навчання заощаджує JOLT?

На MATH дослідницька команда побудувала криві точності залежно від бюджетів навчальних токенів. За точності 63,44% контрольна точка GRPO використовувала 8,40 млн оброблених навчальних токенів. Аппроксимована крива JOLT потребувала 1,30 млн — скорочення в 6,5 раза. Якщо враховувати лише токени завершень, розрив збільшується приблизно до 13 разів. Для цільових показників точності від 55% до 65% економія оброблених токенів становить від 4,3 до 7,4 раза.

JOLT також виходить на вищий рівень плато. Він стабілізується біля 72% проти приблизно 70% у GRPO та 62% в OPSD.

Як JOLT порівнюється з GRPO, OPSD і π-Distill?

Усі наведені нижче показники отримані під час власних запусків Perplexity у статті про JOLT, із налаштуванням гіперпараметрів для кожного методу. Опис методів містить посилання на відповідні статті.

Функція	JOLT	JOLT+	GRPO	OPSD	π-Distill
Окрема модель-учитель	Ні	Ні	Без учителя	Ні (самовчитель)	Ні (спільна модель)
Учитель навчається	Так (винагорода + KL до учня)	Так (винагорода + KL до учня)	Не застосовується	Ні	Так (із KL-регуляризацією)
Сигнал для учня	Щільна дистиляція, on-policy	Дистиляція + винагорода за результат	Винагорода за результат відносно групи	Щільна дистиляція, on-policy	Off-policy, траєкторії вчителя
MATH, Qwen3-0.6B (%)	72.14 ± 0.90	72.59 ± 1.17	68.36 ± 3.73	61.20 ± 2.10	42.25 ± 1.10
LCBv6, Qwen3-8B (%)	47.64 ± 1.10	49.08 ± 0.41	46.13 ± 1.83	45.34 ± 1.50	38.23 ± 1.72
AppWorld, Qwen3-4B (%)	51.92 ± 5.30	72.09 ± 6.01	62.20 ± 2.83	29.49 ± 2.48	59.85 ± 2.97
Terminal-Bench 2.1 pass@1 (%)	6.56	10.96	8.25	2.82	4.99
Terminal-Bench 2.1 pass@32 (%)	25.69	34.83	30.34	16.90	22.31
Код	Ще не опубліковано	Ще не опубліковано	Не розкрито	GitHub	Не розкрито

Базова модель Terminal-Bench: 5,18% pass@1, 22,81% pass@32.

Основні висновки

• 1 модель виконує роль учителя й учня, причому учитель також навчається.
• У 6,5 раза менше оброблених токенів, ніж у GRPO, за однакової точності на MATH.
• JOLT+ перевершує GRPO на 9,9 пункту в AppWorld.
• Звичайний JOLT усе ще поступається GRPO в AppWorld і Terminal-Bench.

---

Ознайомтеся зі статтею на arXiv та дописом дослідницького блогу Perplexity. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150-тисячного ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.

Потрібне партнерство з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, релізу продукту, вебінару тощо? Зв’яжіться з нами