Исследователи Perplexity и NVIDIA представили JOLT: метод обучения с подкреплением, объединяющий учителя и ученика

Perplexity совместно с командой NVIDIA представила JOLT — новый метод постобучения языковых моделей. JOLT расшифровывается как Joint On-policy Learning and Teaching («совместное обучение и преподавание на основе текущей политики»). Он обучает одну модель в двух ролях. Учитель видит привилегированную информацию, а ученик — нет. Ключевое изменение заключается в том, что учитель также обучается, поэтому его обратная связь остаётся полезной. На MATH JOLT достиг точности GRPO, обработав в 6,5 раза меньше обучающих токенов. Для команд, занимающихся постобучением с подкреплением, это напрямую связано с вопросом вычислительных затрат.

Кратко

• Что это: метод постобучения.
• Размер: протестирован на Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct и DeepSeek-V2-Lite.
• Работает на: одна общая модель играет обе роли, поэтому отдельная модель-учитель не требуется. Аппаратное обеспечение для обучения: не раскрыто.
• Производительность: JOLT+ показывает наивысший средний результат во всех протестированных сценариях по сравнению с GRPO, OPSD и π-Distill.
• Лучший результат: доля прохождения state-тестов AppWorld составила 72,09% для JOLT+ против 62,20% для GRPO (+9,9 процентного пункта).
• Худший результат: JOLT без награды ученика набирает 51,92% на AppWorld, уступая GRPO.

Что такое Perplexity JOLT?

JOLT — это метод самодистилляции от Perplexity и NVIDIA, который обучает одну модель в качестве учителя и ученика. Он развивает идею On-Policy Self-Distillation (OPSD).

Зачем постобучению с подкреплением нужен более эффективный учитель?

RL на основе награды за результат, например GRPO, выдаёт одну награду за каждую попытку. Этот сигнал разрежен и не показывает, какие токены помогли добиться результата. В длинных агентских задачах успешные попытки редки, поэтому обучение идёт медленно.

Дистилляция на основе текущей политики устраняет разреженность, заставляя более сильного учителя оценивать каждый токен ученика. OPSD исключает отдельную модель-учитель. Одна и та же модель становится учителем, когда получает привилегированный контекст, например проверенное решение.

Исследовательская команда утверждает, что этого недостаточно. Учитель, располагающий ответом, может использовать обходные пути, недоступные ученику. Его рекомендации могут оказаться за пределами возможностей ученика. В статье показано, что расхождение между учителем и учеником в OPSD увеличивается во время обучения на MATH.

Как работает JOLT?

JOLT одновременно обучает обе роли одной общей модели:

• Учитель: получает привилегированную информацию. Он обучается на основе наград за результат, а также штрафа KL, который удерживает его близко к ученику.
• Ученик: видит только задачу. Он обучается на сигнале поточечной дистилляции учителя, полученном в ходе собственных попыток.
• Обучение на основе текущей политики: каждая роль обучается на траекториях, сгенерированных в собственном контексте.
• JOLT+: добавляет собственную награду ученика за результат к обновлению ученика.

В центре исследования находится «согласованный с наградой» учитель. Его обновление на основе дистилляции должно указывать в том же направлении, что и градиент награды ученика. Идеальный учитель отдаёт предпочтение действиям с высоким преимуществом, оставаясь при этом близким к политике ученика.

Как JOLT показывает себя на бенчмарках?

Исследовательская команда протестировала 5 сценариев, каждый с отдельной базовой моделью и типом привилегированной информации:

• GSM8K: DeepSeek-V2-Lite; учитель получает проверенный ответ.
• MATH: Qwen3-0.6B; учитель получает подробные эталонные решения.
• LiveCodeBench v6: Qwen3-8B на 131 задаче; учитель получает успешное решение родственной модели или обратную связь о выполнении.
• AppWorld: Qwen3-4B-Instruct; учитель получает сводки предыдущих попыток.
• Terminal-Bench 2.1: Qwen3-30B-A3B-Instruct, обученная на TMax; учитель получает закрытые файлы верификатора.

JOLT+ показал наивысший средний результат во всех сценариях. По сравнению с GRPO, самым сильным базовым методом, он получил преимущество в 1,5 пункта на GSM8K. Также он выиграл 4,2 пункта на MATH, 3,0 на LCBv6 и 9,9 на AppWorld. На Terminal-Bench 2.1 JOLT+ достиг 10,96% pass@1 и 34,83% pass@32. У GRPO показатели составили 8,25% и 30,34%.

Даже обычный JOLT без награды ученика превзошёл GRPO на MATH: 72,14% против 68,36%.

Насколько JOLT сокращает вычислительные затраты на обучение?

На MATH исследовательская команда сопоставила кривые точности с бюджетами обучающих токенов. При точности 63,44% контрольная точка GRPO использовала 8,40 млн обработанных обучающих токенов. Согласно аппроксимированной кривой, JOLT требовалось 1,30 млн — сокращение в 6,5 раза. Если считать только токены завершений, разрыв увеличивается примерно до 13 раз. Для целевых показателей точности от 55% до 65% экономия обработанных токенов составляет от 4,3 до 7,4 раза.

JOLT также выходит на более высокий уровень плато. Он стабилизируется примерно на 72%, тогда как GRPO достигает около 70%, а OPSD — 62%.

Как JOLT сравнивается с GRPO, OPSD и π-Distill?

Все приведённые ниже результаты получены в собственных запусках Perplexity из статьи о JOLT, при этом гиперпараметры настраивались для каждого метода. Описания методов ведут на соответствующие статьи.

Характеристика	JOLT	JOLT+	GRPO	OPSD	π-Distill
Отдельная модель-учитель	Нет	Нет	Нет учителя	Нет (самоучитель)	Нет (общая модель)
Учитель обучается	Да (награда + KL к ученику)	Да (награда + KL к ученику)	Неприменимо	Нет	Да (с регуляризацией KL)
Сигнал для ученика	Плотная дистилляция, на основе текущей политики	Дистилляция + награда за результат	Относительная к группе награда за результат	Плотная дистилляция, на основе текущей политики	Вне текущей политики, траектории учителя
MATH, Qwen3-0.6B (%)	72.14 ± 0.90	72.59 ± 1.17	68.36 ± 3.73	61.20 ± 2.10	42.25 ± 1.10
LCBv6, Qwen3-8B (%)	47.64 ± 1.10	49.08 ± 0.41	46.13 ± 1.83	45.34 ± 1.50	38.23 ± 1.72
AppWorld, Qwen3-4B (%)	51.92 ± 5.30	72.09 ± 6.01	62.20 ± 2.83	29.49 ± 2.48	59.85 ± 2.97
Terminal-Bench 2.1 pass@1 (%)	6.56	10.96	8.25	2.82	4.99
Terminal-Bench 2.1 pass@32 (%)	25.69	34.83	30.34	16.90	22.31
Код	Пока не опубликован	Пока не опубликован	Не раскрыт	GitHub	Не раскрыт

Базовая модель Terminal-Bench: 5,18% pass@1, 22,81% pass@32.

Основные выводы

• 1 модель играет роли учителя и ученика, причём учитель также обучается.
• В 6,5 раза меньше обработанных токенов, чем у GRPO, при сопоставимой точности на MATH.
• JOLT+ превосходит GRPO на 9,9 пункта на AppWorld.
• Обычный JOLT всё ещё уступает GRPO на AppWorld и Terminal-Bench.

---

Ознакомьтесь со статьёй на arXiv и публикацией в исследовательском блоге Perplexity. Вся заслуга принадлежит исследователю этого проекта. Также не стесняйтесь подписаться на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с аудиторией 150 тыс.+ и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами