Alibaba представила Qwen4-Max із 2,4 трлн параметрів і контекстом у 1 млн токенів
Команда Qwen компанії Alibaba представила Qwen4-Max — першу модель покоління Qwen4. Це пропрієтарна розріджена модель mixture-of-experts із основою на 2,4 трлн параметрів, з яких для кожного токена активуються 71 млрд. Система працює з текстом, зображеннями та відео, підтримує контекст до 1 млн токенів і може генерувати до 393 тис. токенів. Модель доступна лише через хостовані сервіси QwenCloud API, Token Plan, Qwen Studio, QwenWork і Qoder; відкритих ваг для самостійного розгортання немає.
Архітектура поєднує Qwen Sparse Attention із шарами Gated DeltaNet, керованими залишковими зв’язками та 328 млрд параметрів N-gram Embedding. Alibaba заявляє, що під час навчання моделі такого масштабу не було стрибків функції втрат. За даними компанії, базова версія Qwen4-Max має на 5–13% менше бітів на байт, ніж Qwen3.8-Max-Base, активуючи на 25% менше параметрів.
У порівняльній таблиці Alibaba модель посіла перше місце у чотирьох із 16 тестів, зокрема HLAB-Vals-1.1 із результатом 21,3. У частині тестів на програмування та комп’ютерний зір вона поступилася конкурентам; у ProgramBench результат становив 31,5. У Work360 модель набрала 52,69 проти 47,74 у Qwen3.8-Max. Alibaba повідомляє про зниження середньої вартості завдання Work360 на 62%, до $1,67. Тарифи становлять $1,50 за мільйон вхідних токенів і $4,50 за мільйон вихідних.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.