Alibaba Qwen представила QwenGyre: еластичне навчання з підкріпленням RL для агентів із надзвичайно довгим горизонтом

Команда Qwen компанії Alibaba представила QwenGyre — еластичний фреймворк підкріплювального навчання RL для тренування агентів на екстремально довгих горизонтах. QwenGyre — це система онлайн-підкріплювального навчання від Alibaba, яка тренує агентів для написання коду через незмінену, чорно-скринькову інфраструктуру запуску. Вона орієнтована на запуски, що тривають годинами й обробляють майже 1 млн токенів. Еластичний RL-фреймворк QwenGyre використали на флагманській моделі Qwen 3.8 2.4T від Qwen. Він ґрунтується на 2 ключових ідеях. Він переміщує неактивні GPU між запуском і тренуванням. Також він перетворює розгалужені історії агентів на обмежені навчальні зразки.

Коротко

Розмір: Навчальний фреймворк, а не модель. Протестовано на Qwen 3.6 122B і Qwen 3.8 2.4T (A95B за даними Qwen), приблизно по 700 тис. токенів на один запуск.
Працює на: Багатовузлових кластерах GPU. Запуски з моделлю 122B використовували від 24 до 32 вузлів; запуск із моделлю 2.4T — 192 вузли (4 комірки по 48). Модель GPU не розкрито. Megatron відповідає за тренування, SGLang — за обслуговування запусків.
Продуктивність: У 1,38–1,78 раза швидше за Async і в 1,21–1,85 раза швидше за Colocate за однакових показників.
Найкращий результат: Прискорення наскрізного виконання в 1,85 раза порівняно з Colocate на TerminalBench.
Найгірший результат: Лише в 1,21 раза швидше за Colocate на моделі 2.4T, де багато запитів виконувалися майже до завершення тайм-ауту.
Підсумок:
- Найкраще: NL2RepoBench зростає з 52,5% до 58,5% за 48 кроків.
- Найгірше: у статті немає посилання на публічний випуск коду.

Яку проблему розв’язує QwenGyre?

Дослідницька команда визначає завдання «XLong-horizon» як запуски агентів, що тривають годинами й охоплюють сотні взаємодій моделі та інструментів. Серед прикладів — створення повних репозиторіїв за специфікаціями, як у NL2Repo-Bench.

На такому масштабі виникають дві проблеми:

По-перше, запуски мають довгі хвости розподілу тривалості. У конфігурації Colocate тренування очікує на найповільніше виконання, а GPU простоюють. У конфігурації Async фіксовані пули GPU не можуть позичати один одному вільні потужності.
По-друге, такі інфраструктури запуску, як Claude Code, стискають контекст, запускають субагентів і повторюють спроби. Одне виконання перетворюється на дерево розгалужень, а не на єдину траєкторію. Розгортання кожного шляху дублює спільні префікси й збільшує вартість тренування.

Як працює еластичний планувальник?

QwenGyre розподіляє GPU на комірки, які використовують спільну конфігурацію тренування. Кожна комірка може обслуговувати запуски або розміщувати повну репліку тренування. Центральна комірка зберігає авторитетні ваги та стан оптимізатора. Сателітні комірки приєднуються до тренування пізніше.

Планувальник відстежує рівень заповнення запусків: виконання в черзі та запущені виконання. Коли виконання завершуються, комірки перемикаються на тренування, щойно комірки, що залишилися, усе ще можуть обслуговувати всю активну роботу. Виклики моделей перенаправляються через проксі, тому інфраструктура запуску продовжує працювати.

Ключові механізми:

Блоки KV-кешу переміщуються через RDMA під час перенаправлення, що зменшує повторне обчислення префіксів.
Сателітні комірки отримують центральні ваги через Transfer Engine від Mooncake і приєднуються до поточного батчу.
Потокове тренування дає змогу коміркам захоплювати мікрокроки в міру готовності даних.
Середній час перемикання ролей становив 8,52 с (із запуску до тренування) і 3,46 с (із тренування до запуску).

Як процесор траєкторій створює навчальні зразки?

Проксі записує точні ідентифікатори токенів і логарифмічні ймовірності поведінки за допомогою token-in, token-out (TITO). Виклики зберігаються як дерева траєкторій зі спільними префіксами.

Часткове оцінювання: Виконання, для яких сплив тайм-аут, усе одно оцінюються за збереженим робочим простором. Помилки оцінювача виключаються й ніколи не трактуються як нульова винагорода.
Обмежене семплювання: Для кожного виконання зберігається щонайбільше 5 траєкторій, ранжованих у такому порядку: основна > підсумок основної > субагент > підсумок субагента.
Дедуплікація: Спільні цілі враховуються один раз, а тренуються лише токени, згенеровані політикою.
Справедливе зважування: Втрати усереднюються в межах кожного виконання, тому додаткові розгалуження не збільшують його вагу.

Обмеження до 5 траєкторій дало такі самі навчальні показники, як і необмежене тренування, скоротивши час прямого та зворотного проходів на 25,2%. Для тренування використовується адаптований GSPO із 16 запусками в групі.

Наскільки швидкий QwenGyre? Результати тестування

У всіх запусках як інфраструктуру використовували Claude Code 2.1.220, із рівними бюджетами GPU та однаковою застарілістю параметрів.

Робоче навантаження (модель)	порівняно з Async	порівняно з Colocate
NL2RepoBench (Qwen 3.6 122B, 48 кроків)	1,42x–1,53x	1,36x–1,47x
DeepSWE (Qwen 3.6 122B, 24 кроки)	1,569x–1,572x	1,610x–1,824x
TerminalBench (Qwen 3.6 122B, 24 кроки)	1,383x–1,430x	1,809x–1,849x
NL2RepoBench (Qwen 3.8 2.4T, 48 кроків)	1,78x	1,21x

На моделі 2.4T QwenGyre завершив 48 кроків за 75,42 години. Async знадобилося 134,55 години, а Colocate — 91,47 години. Частка проходження оцінювання зросла з 52,48% до 58,54%.

Як QwenGyre порівнюється з іншими фреймворками агентного RL?

Функція	QwenGyre	veRL	AReaL	Agent Lightning
Розробник	Alibaba Qwen	ByteDance Seed + спільнота	Tsinghua IIIS + Ant Group	Microsoft
Ліцензія	Не розкрито	Apache-2.0	Apache-2.0	MIT
Розміщення GPU	Еластичні комірки, перемикання під час запуску	Гнучке зіставлення пристроїв, перерозподіл HybridEngine	Повністю асинхронне	Не розкрито
Чорно-скринькова інфраструктура	Так, через проксі	Не розкрито	Так, через заміну base_url	Так, майже без змін у коді
Тренування / запуск	Megatron / SGLang	FSDP, Megatron / vLLM, SGLang	Megatron, FSDP, Archon / vLLM, SGLang	Не розкрито
Найбільший заявлений масштаб	Qwen 3.8 2.4T	Моделі 671B	Не розкрито	Не розкрито
Заявлене прискорення	До 1,85x порівняно з Colocate	Не розкрито	2,77x порівняно із синхронним режимом (v0.3)	Не розкрито
Публічний код	Не розкрито	Так	Так	Так

Показники прискорення отримано в межах власних конфігурацій кожного проєкту, тому їх не можна безпосередньо порівнювати.

Ключові висновки

QwenGyre переміщує GPU між запуском і тренуванням, не зупиняючи активних агентів.
Дерева траєкторій обмежують кількість зразків до 5 на виконання й тренують спільні префікси один раз.
Запуски, для яких сплив тайм-аут, усе одно оцінюються за їхньою частково виконаною роботою.
До 1,85x швидше за Colocate і 1,78x швидше за Async.
Результат Qwen 3.8 2.4T на NL2RepoBench покращився з 52,5% до 58,5% за 48 кроків.

Ознайомтеся з повною статтею про QwenGyre на arXiv і публікацією Qwen. Уся заслуга належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання зі 150 тис.+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.