StepFun выпустила предварительную версию Step 5 с открытыми весами: 600 млрд параметров MoE, 27 млрд активных, контекст 1 млн

StepFun выпустила Step 5 Preview с открытыми весами. Чекпойнты FP8 и BF16 доступны на Hugging Face и ModelScope. Step 5 Preview — разреженная модель Mixture-of-Experts от StepFun, созданная для агентских задач с длинным горизонтом планирования. Она содержит 600 млрд параметров, из которых для каждого токена активны 27 млрд, а размер контекста достигает 1 млн токенов. Для разработчиков это новая возможность самостоятельного развертывания для кодинговых агентов, анализа документов и финансовых рабочих процессов.

Кратко

• Размер: 600 млрд параметров всего, 27 млрд активных для каждого токена, контекст до 1 млн токенов.
• Работает на: только серверных GPU. Для FP8 нужны 4 B300 или 8 H200. Для BF16 нужны 8 B300 или 16 H200.
• Производительность: близка к открытым моделям GLM-5.3 и Kimi K3 в задачах программирования. Уступает GPT-6 Astra и Claude Opus 5.
• Лучший результат: 88,3% в задаче рассуждений с длинным контекстом AA-LCR (Artificial Analysis).
• Худший результат: 33,3% в Terminal-Bench 4.0 против 41,9% у GLM-5.3.

Что такое Step 5 Preview?

Step 5 Preview — это флагманская модель StepFun для агентских задач. StepFun позиционирует ее для разработки программного обеспечения, профессиональной интеллектуальной работы и финансов. Модель работает с большими кодовыми базами, координирует изменения в нескольких файлах, запускает код и анализирует результаты. Она также анализирует длинные документы, графики, скриншоты и видео, создавая структурированные отчеты.

API запустили 20 сентября. Веса появились 14 октября.

Как работает архитектура?

Для каждого токена активируются только 27 млрд из 600 млрд параметров. Техническая команда StepFun приводит следующие детали:

• Глубина: 92 трансформерных блока в узкой и глубокой архитектуре.
• Сочетание механизмов внимания: управляемое внимание со скользящим окном и слои с полным вниманием, чередующиеся в соотношении 3:1.
• Разреженное GQA: слои с полным вниманием выбирают по 4096 токенов истории для каждого запроса, оценивая их блоками по 8 токенов.
• Спекулятивное декодирование: голова MTP-3 обеспечивает примерно 30%-ное ускорение работы от начала до конца.
• Обучение: смешанная точность FP8 с подкреплением на агентских средах с миллионами проверяемых задач.

Как Step 5 Preview показывает себя в бенчмарках?

StepFun проводила собственные оценки с настройкой рассуждений High. Конкурирующие модели на ее графике работали с максимальным уровнем усилий, поэтому сравнение нельзя считать полностью сопоставимым.

Результаты указаны на странице модели в Hugging Face:

• DeepSWE v1.1: 67,7 (обвязка SWE-agent, температура 1,0, top_p 0,95)
• Terminal-Bench 4.0: 33,3
• Agents’ Last Exam (ALE-CLI): 29,5

Независимые показатели предоставлены Artificial Analysis через OpenRouter. Модель набирает 43,7 балла в Intelligence Index. Она достигает 88,3% в AA-LCR и 46,5% в Humanity’s Last Exam. Показатель GDPval-AA составляет 54,3%.

Результаты Vals AI демонстрируют явные слабые места. В SRE Bench результат составляет 0,4%. В Harvey’s Legal Agent Benchmark — 9,2%.

В финансовых задачах на графике StepFun указано 66,4% в FrontierFinance. Это выше показателей GLM-5.3 и Kimi K3, но ниже результата Claude Opus 5 — 69,7%.

Как она сравнивается с другими моделями с открытыми весами?

Характеристика	Step 5 Preview	GLM-5.3	Kimi K3
Общее число параметров	600 млрд	753 млрд (размер файла на HF)	2,8 трлн
Активные параметры	27 млрд	Не раскрыто	104 млрд
Размер контекстного окна	1 млн	1 млн	1 млн
Модальности ввода	Текст, изображения (API добавляет видео)	Только текст	Текст, изображения
Форматы весов	FP8, BF16	BF16, FP8	Веса MXFP4
Лицензия	StepFun Model License 1.0	Лицензия GLM-5.3	Лицензия Kimi K3
Минимальная указанная конфигурация для самостоятельного развертывания	4 B300 (FP8)	Не раскрыто	Не раскрыто
DeepSWE v1.1 (данные StepFun)	67,7	66,9	67,5
Terminal-Bench 4.0 (данные StepFun)	33,3	41,9	12,6
FrontierFinance (данные StepFun)	66,4	64,1	62,6
Цена API за 1 млн токенов (ввод / вывод)	$1,00 / $2,70	Не раскрыто	$3,00 / $15,00

Строки с результатами бенчмарков взяты из сравнительной таблицы StepFun, перепечатанной CellCog и eesel.

Какое оборудование нужно Step 5 Preview для работы?

Это серверная модель. Один только чекпойнт FP8 занимает 650,32 ГБ. Указанные конфигурации:

• FP8 в vLLM или SGLang: 4 GPU B300 или 8 GPU H200, каждый вариант — на одном узле.
• BF16 в vLLM: один узел с 8 GPU B300 или два узла с 16 GPU H200.
• Transformers: только автономная генерация. Полный рабочий процесс с сегментами BF16 пока не проверен от начала до конца.

vLLM и SGLang поставляются с специализированными Docker-образами и API, совместимыми с OpenAI. На Blackwell режимы параллелизма экспертов используют бэкенд MegaMoE. StepFun рекомендует temperature 1.0, top_p 0.95 и top_k 0.

Сколько стоит API?

API StepFun взимает $1,00 за 1 млн входных токенов и $2,70 за 1 млн выходных токенов. Попадание в кэш стоит $0,10 за 1 млн токенов. В стоимость вывода включены токены рассуждений. API поддерживает низкий, средний и высокий уровни усилий рассуждения, вызов инструментов и вывод по JSON Schema.

Основные выводы

• MoE на 600 млрд параметров, 27 млрд активных параметров, контекст 1 млн токенов; теперь доступны открытые веса FP8 и BF16.
• Минимальная указанная конфигурация для самостоятельного развертывания: 4 GPU B300 с FP8.
• Лучший независимый результат: 88,3% в задаче рассуждений с длинным контекстом AA-LCR.
• Самое слабое место: 33,3% в Terminal-Bench 4.0.
• API стоит $1,00 за вход и $2,70 за вывод на каждый 1 млн токенов.

---

Изучите веса модели на Hugging Face, репозиторий на GitHub, технический блог, веса BF16, ModelScope и документацию API. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Стоп! Вы пользуетесь Telegram? теперь к нам можно присоединиться и в Telegram.