StepFun пусна предварителната версия на Step 5 с отворени тегла: 600 млрд. параметъра в MoE, 27 млрд. активни, контекст 1 млн.

StepFun пусна Step 5 Preview с отворени тегла. Контролните точки FP8 и BF16 вече са налични в Hugging Face и ModelScope. Step 5 Preview е разреден модел Mixture-of-Experts на StepFun, създаден за агентна работа с дълъг хоризонт. Той разполага с общо 600 млрд. параметъра, 27 млрд. активни параметъра на токен и контекст до 1 млн. токена. За разработчиците това е нова възможност за самостоятелно хостване на кодиращи агенти, анализ на документи и финансови работни процеси.

Накратко

• Размер: общо 600 млрд., 27 млрд. активни параметъра на токен, контекст до 1 млн. токена.
• Работи на: само графични процесори в центрове за данни. FP8 изисква 4x B300 или 8x H200. BF16 изисква 8x B300 или 16x H200.
• Производителност: близо до моделите с отворени тегла GLM-5.3 и Kimi K3 при кодиране. Изостава от GPT-6 Astra и Claude Opus 5.
• Най-добър резултат: 88,3% при разсъждения с дълъг контекст AA-LCR (Artificial Analysis).
• Най-слаб резултат: 33,3% на Terminal-Bench 4.0 спрямо 41,9% за GLM-5.3.

Какво представлява Step 5 Preview?

Step 5 Preview е водещият модел на StepFun за агентна работа. StepFun го позиционира за софтуерно инженерство, професионална работа със знания и финанси. Моделът навигира в големи кодови бази, координира промени в множество файлове, изпълнява код и итеративно подобрява резултатите. Той също така анализира дълги документи, диаграми, екранни снимки и видео, за да създава структурирани отчети.

API беше пуснат на 20 септември. Теглата последваха на 14 октомври.

Как работи архитектурата?

Само 27 млрд. от общо 600 млрд. параметъра се активират за всеки токен. Техническият екип на StepFun добавя подробности за вътрешната архитектура:

• Дълбочина: 92 трансформаторни блока в тясна, дълбока конфигурация.
• Комбинация от механизми за внимание: вниманието с плъзгащ се прозорец и пълното внимание са редувани в съотношение 3:1.
• Разредено GQA: слоевете с пълно внимание избират 4096 токена от историята за всяка заявка, оценявани на блокове от по 8.
• Спекулативно декодиране: глава MTP-3 осигурява приблизително 30% ускорение от край до край.
• Обучение: смесена прецизност FP8 с RL в проверими агентни среди на ниво милиони.

Как се представя Step 5 Preview на бенчмарковете?

StepFun проведе собствените си оценки при настройка за разсъждение High. Конкурентите в нейната диаграма са работили при максимално усилие, така че сравнението не е напълно равнопоставено.

Резултати, посочени в картата на Hugging Face:

• DeepSWE v1.1: 67,7 (SWE-agent harness, температура 1,0, top_p 0,95)
• Terminal-Bench 4.0: 33,3
• Agents’ Last Exam (ALE-CLI): 29,5

Независимите резултати са от Artificial Analysis чрез OpenRouter. Моделът получава 43,7 в Intelligence Index. Той достига 88,3% на AA-LCR и 46,5% на Humanity’s Last Exam. GDPval-AA достига 54,3%.

Резултатите на Vals AI показват ясни слаби места. SRE Bench е 0,4%. Harvey’s Legal Agent Benchmark е 9,2%.

Във финансите диаграмата на StepFun показва 66,4% на FrontierFinance. Това е по-добре от GLM-5.3 и Kimi K3, но изостава от Claude Opus 5 с неговите 69,7%.

Как се сравнява с други модели с отворени тегла?

Характеристика	Step 5 Preview	GLM-5.3	Kimi K3
Общ брой параметри	600B	753B (размер на HF файла)	2.8T
Активни параметри	27B	Не е разкрито	104B
Контекстен прозорец	1M	1M	1M
Входни модалности	Текст, изображение (API добавя видео)	Само текст	Текст, изображение
Формати на теглата	FP8, BF16	BF16, FP8	MXFP4 тегла
Лиценз	Лиценз за модел StepFun 1.0	Лиценз GLM-5.3	Лиценз Kimi K3
Минимална посочена конфигурация за самостоятелно хостване	4x B300 (FP8)	Не е разкрито	Не е разкрито
DeepSWE v1.1 (отчетено от StepFun)	67,7	66,9	67,5
Terminal-Bench 4.0 (отчетено от StepFun)	33,3	41,9	12,6
FrontierFinance (отчетено от StepFun)	66,4	64,1	62,6
Цена на API за 1 млн. токена (вход / изход)	$1.00 / $2.70	Не е разкрита	$3.00 / $15.00

Редовете с бенчмаркове са взети от сравнителната диаграма на StepFun, преписана от CellCog и eesel.

Какъв хардуер е необходим за работата на Step 5 Preview?

Това е модел за центрове за данни. Самата контролна точка FP8 е 650,32 GB. Посочените конфигурации са:

• FP8 с vLLM или SGLang: 4 графични процесора B300 или 8 графични процесора H200, всеки на 1 възел.
• BF16 с vLLM: 1 възел с 8 графични процесора B300 или 2 възела с 16 графични процесора H200.
• Transformers: само офлайн генериране. Пълният работен процес с фрагменти BF16 все още не е валидиран от край до край.

vLLM и SGLang предлагат специализирани Docker образи с API, съвместими с OpenAI. При Blackwell режимите с паралелизация на експертите използват бекенда MegaMoE. StepFun препоръчва температура 1,0, top_p 0,95 и top_k 0.

Колко струва API?

API на StepFun таксува $1.00 за 1 млн. входни токена и $2.70 за 1 млн. изходни токена. Попаденията в кеша струват $0.10 за 1 млн. Изходното ценообразуване включва токените за разсъждение. API поддържа ниско, средно и високо ниво на усилие за разсъждение, извикване на инструменти и изход по JSON Schema.

Основни изводи

• MoE модел с 600 млрд. параметъра, 27 млрд. активни параметъра и контекст от 1 млн. токена, вече с отворени тегла във FP8 и BF16.
• Най-малката посочена конфигурация за самостоятелно хостване: 4x B300 графични процесора с FP8.
• Най-добър независим резултат: 88,3% при разсъждения с дълъг контекст AA-LCR.
• Най-слабо място: 33,3% на Terminal-Bench 4.0.
• API струва $1.00 за вход и $2.70 за изход на 1 млн. токена.

---

Разгледайте теглата на модела в Hugging Face, хранилището в GitHub, техническия блог, теглата BF16, ModelScope и документацията за API. Всички заслуги са за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия информационен бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.