Alibaba Qwen представила QwenGyre: эластичное обучение с подкреплением RL для агентов с экстремально длинным горизонтом

Команда Qwen компании Alibaba представила QwenGyre — эластичный фреймворк обучения с подкреплением (RL) для обучения агентов на задачах с чрезвычайно длинным горизонтом. QwenGyre — это система онлайн-обучения с подкреплением от Alibaba, которая обучает агентов программированию через неизменённые чёрные ящики-обвязки. Она предназначена для запусков, продолжающихся часами и обрабатывающих почти 1 млн токенов. Эластичный RL-фреймворк QwenGyre использовался с флагманской моделью Qwen 3.8 2.4T от Qwen. В его основе лежат 2 ключевые идеи. Он перемещает простаивающие GPU между этапами генерации траекторий и обучения. Кроме того, он превращает ветвящиеся истории агентов в ограниченные обучающие выборки.

Кратко

• Размер: Обучающий фреймворк, а не модель. Протестирован на Qwen 3.6 122B и Qwen 3.8 2.4T (A95B по данным Qwen), примерно по 700 тыс. токенов на одну траекторию.
• Работает на: Многоузловых кластерах GPU. Для запусков с моделью 122B использовалось от 24 до 32 узлов; для запуска с моделью 2.4T — 192 узла (4 ячейки по 48). Модель GPU не раскрыта. Megatron отвечает за обучение, SGLang — за генерацию траекторий.
• Производительность: От 1,38 до 1,78 раза быстрее Async и от 1,21 до 1,85 раза быстрее Colocate при одинаковых показателях.
• Лучший результат: Ускорение сквозного процесса в 1,85 раза по сравнению с Colocate на TerminalBench.
• Худший результат: Всего в 1,21 раза быстрее Colocate на модели 2.4T, где многие запросы выполнялись почти до истечения тайм-аута.
• Итог:
  • Лучшее: показатель NL2RepoBench вырос с 52,5% до 58,5% за 48 шагов.
  • Худшее: в статье нет ссылки на публичный релиз кода.

Какую проблему решает QwenGyre?

Исследовательская команда определяет задачи «XLong-horizon» как запуски агентов продолжительностью в несколько часов и включающие сотни взаимодействий с моделью и инструментами. К таким задачам относится, например, создание полноценных репозиториев по спецификациям, как в NL2Repo-Bench.

На таком масштабе возникают две проблемы:

• Во-первых, длительность траекторий имеет длинный хвост распределения. В конфигурации Colocate обучение ждёт самого медленного выполнения, пока GPU простаивают. В конфигурации Async фиксированные пулы GPU не могут передавать друг другу свободные ресурсы.
• Во-вторых, такие обвязки, как Claude Code, сжимают контекст, запускают субагентов и повторяют попытки. Одно выполнение превращается в ветвящееся дерево, а не в одну траекторию. Разворачивание каждого пути дублирует общие префиксы и увеличивает стоимость обучения.

Как работает эластичный планировщик?

QwenGyre разделяет GPU на ячейки, использующие единую схему обучения. Каждая ячейка может обслуживать генерацию траекторий или размещать полноценную реплику обучения. Основная ячейка хранит эталонные веса и состояние оптимизатора. Спутниковые ячейки подключаются к обучению позже.

Планировщик отслеживает уровень заполнения очереди траекторий: выполнения, находящиеся в очереди и выполняющиеся в данный момент. По мере завершения выполнений ячейки переключаются на обучение, как только оставшиеся ячейки всё ещё могут обслуживать все активные задачи. Вызовы модели перенаправляются через прокси, поэтому обвязка продолжает работать.

Ключевые механизмы:

• Блоки KV-кэша перемещаются через RDMA во время перенаправления, что сокращает повторное вычисление префиксов.
• Спутниковые ячейки получают основные веса через Transfer Engine Mooncake и подключаются к уже выполняемой пакетной обработке.
• Потоковое обучение позволяет ячейкам брать микро-шаги по мере готовности данных.
• Среднее время переключения ролей составляло 8,52 с (с генерации траекторий на обучение) и 3,46 с (с обучения на генерацию траекторий).

Как Trajectory Processor формирует обучающие выборки?

Прокси записывает точные идентификаторы токенов и логарифмические вероятности поведения с использованием подхода token-in, token-out (TITO). Вызовы сохраняются в виде деревьев траекторий с общими префиксами.

• Частичное оценивание: Выполнения, завершившиеся по тайм-ауту, всё равно оцениваются по сохранённому рабочему пространству. Ошибки оценивателя исключаются и никогда не считаются нулевой наградой.
• Ограниченная выборка: Для каждого выполнения сохраняется не более 5 траекторий, ранжированных в порядке: основная > резюме основной > субагент > резюме субагента.
• Удаление дубликатов: Общие целевые элементы учитываются один раз, а обучаются только токены, сгенерированные политикой.
• Справедливое взвешивание: Потери усредняются внутри каждого выполнения, поэтому дополнительные ветви не увеличивают его вес.

Ограничение в 5 траекторий обеспечивает сопоставимые показатели обучения без ограничения, одновременно сокращая время прямого и обратного проходов на 25,2%. Для обучения используется адаптированный GSPO с 16 траекториями на группу.

Насколько быстр QwenGyre? Результаты тестирования

Во всех запусках использовалась обвязка Claude Code 2.1.220, а бюджеты GPU и степень устаревания параметров были одинаковыми.

Рабочая нагрузка (модель)	по сравнению с Async	по сравнению с Colocate
NL2RepoBench (Qwen 3.6 122B, 48 шагов)	1,42–1,53x	1,36–1,47x
DeepSWE (Qwen 3.6 122B, 24 шага)	1,569–1,572x	1,610–1,824x
TerminalBench (Qwen 3.6 122B, 24 шага)	1,383–1,430x	1,809–1,849x
NL2RepoBench (Qwen 3.8 2.4T, 48 шагов)	1,78x	1,21x

На модели 2.4T QwenGyre завершил 48 шагов за 75,42 часа. Async потребовалось 134,55 часа, а Colocate — 91,47 часа. Доля успешных прохождений оценки выросла с 52,48% до 58,54%.

Как QwenGyre сравнивается с другими фреймворками агентного RL?

Характеристика	QwenGyre	veRL	AReaL	Agent Lightning
Разработчик	Alibaba Qwen	ByteDance Seed + сообщество	Tsinghua IIIS + Ant Group	Microsoft
Лицензия	Не раскрыта	Apache-2.0	Apache-2.0	MIT
Размещение GPU	Эластичные ячейки, переключение во время генерации траекторий	Гибкое сопоставление устройств, перераспределение HybridEngine	Полностью асинхронное	Не раскрыто
Чёрная ящика-обвязка	Да, через прокси	Не раскрыто	Да, через замену base_url	Да, практически без изменений кода
Обучение / генерация траекторий	Megatron / SGLang	FSDP, Megatron / vLLM, SGLang	Megatron, FSDP, Archon / vLLM, SGLang	Не раскрыто
Наибольший заявленный масштаб	Qwen 3.8 2.4T	Модели на 671B параметров	Не раскрыто	Не раскрыто
Заявленное ускорение	До 1,85x по сравнению с Colocate	Не раскрыто	2,77x по сравнению с синхронным режимом (v0.3)	Не раскрыто
Публичный код	Не раскрыт	Да	Да	Да

Ускорения получены в собственных конфигурациях каждого проекта и напрямую несопоставимы.

Основные выводы

• QwenGyre перемещает GPU между генерацией траекторий и обучением, не останавливая работающих агентов.
• Деревья траекторий ограничивают число выборок до 5 на выполнение и обучают общие префиксы один раз.
• Запуски, завершившиеся по тайм-ауту, всё равно оцениваются по частично выполненной работе.
• До 1,85 раза быстрее Colocate и до 1,78 раза быстрее Async.
• Результат Qwen 3.8 2.4T на NL2RepoBench вырос с 52,5% до 58,5% за 48 шагов.

---

Ознакомьтесь с полной статьёй о QwenGyre на arXiv и публикацией Qwen. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Подождите! Вы пользуетесь Telegram? теперь к нам можно присоединиться и в Telegram.