StepFun випустила попередню версію Step 5 із відкритими вагами: 600 млрд параметрів MoE, 27 млрд активних, контекст 1 млн
StepFun випустила Step 5 Preview з відкритими вагами. Контрольні точки FP8 і BF16 доступні на Hugging Face і ModelScope. Step 5 Preview — розріджена модель суміші експертів від StepFun, створена для агентної роботи з довгим горизонтом планування. Вона має загалом 600B параметрів, 27B активних параметрів на токен і підтримує контекст до 1M токенів. Для розробників це новий варіант для самостійного розгортання агентів програмування, аналізу документів і фінансових робочих процесів.
Коротко
- Розмір: 600B загалом, 27B активних параметрів на токен, контекст до 1M токенів.
- Працює на: лише серверних GPU. Для FP8 потрібно 4× B300 або 8× H200. Для BF16 потрібно 8× B300 або 16× H200.
- Продуктивність: близька до відкритих моделей GLM-5.3 і Kimi K3 у програмуванні. Поступається GPT-6 Astra і Claude Opus 5.
- Найкращий результат: 88,3% у завданні міркування з довгим контекстом AA-LCR (Artificial Analysis).
- Найгірший результат: 33,3% у Terminal-Bench 4.0 проти 41,9% у GLM-5.3.
Що таке Step 5 Preview?
Step 5 Preview — це флагманська модель StepFun для агентної роботи. StepFun позиціонує її для розробки програмного забезпечення, професійної інтелектуальної роботи та фінансів. Модель працює з великими кодовими базами, координує зміни в кількох файлах, запускає код і повторює процес на основі результатів. Вона також аналізує довгі документи, графіки, знімки екрана й відео, щоб створювати структуровані звіти.
API запустили 20 вересня. Ваги з’явилися 14 жовтня.
Як працює архітектура?
Для кожного токена активуються лише 27B із 600B параметрів. Технічна команда StepFun додає такі деталі:
- Глибина: 92 трансформерні блоки у вузькій і глибокій архітектурі.
- Комбінація механізмів уваги: керована увага у ковзному вікні та шари повної уваги, чергування у співвідношенні 3:1.
- Розріджена GQA: шари повної уваги обирають 4 096 токенів історії для кожного запиту, оцінюючи їх блоками по 8.
- Спекулятивне декодування: голова MTP-3 забезпечує приблизно 30% прискорення роботи від початку до кінця.
- Навчання: змішана точність FP8 із підкріплювальним навчанням у мільйонах середовищ із можливістю перевірки для агентної роботи.
Як Step 5 Preview показує себе в бенчмарках?
StepFun провела власні оцінювання на рівні міркування High. Конкуренти на її графіку працювали на максимальному рівні, тому порівняння не є повністю коректним.
Результати, заявлені на сторінці Hugging Face:
- DeepSWE v1.1: 67,7 (оболонка SWE-agent, температура 1,0, top_p 0,95)
- Terminal-Bench 4.0: 33,3
- Agents’ Last Exam (ALE-CLI): 29,5
Незалежні показники наводить Artificial Analysis через OpenRouter. Модель набирає 43,7 бала в Intelligence Index. Вона досягає 88,3% у AA-LCR і 46,5% у Humanity’s Last Exam. Показник GDPval-AA становить 54,3%.
Результати Vals AI демонструють чіткі слабкі місця. У SRE Bench результат становить 0,4%. У Harvey’s Legal Agent Benchmark — 9,2%.
У фінансових завданнях на графіку StepFun показано 66,4% у FrontierFinance. Це краще, ніж у GLM-5.3 і Kimi K3, але гірше, ніж у Claude Opus 5 із результатом 69,7%.
Як вона порівнюється з іншими моделями з відкритими вагами?
| Характеристика | Step 5 Preview | GLM-5.3 | Kimi K3 |
|---|---|---|---|
| Загальна кількість параметрів | 600B | 753B (розмір файлу на HF) | 2,8T |
| Активні параметри | 27B | Не розкрито | 104B |
| Контекстне вікно | 1M | 1M | 1M |
| Модальності введення | Текст, зображення (API додає відео) | Лише текст | Текст, зображення |
| Формати ваг | FP8, BF16 | BF16, FP8 | Ваги MXFP4 |
| Ліцензія | StepFun Model License 1.0 | Ліцензія GLM-5.3 | Ліцензія Kimi K3 |
| Мінімальна заявлена конфігурація для самостійного розгортання | 4× B300 (FP8) | Не розкрито | Не розкрито |
| DeepSWE v1.1 (за даними StepFun) | 67,7 | 66,9 | 67,5 |
| Terminal-Bench 4.0 (за даними StepFun) | 33,3 | 41,9 | 12,6 |
| FrontierFinance (за даними StepFun) | 66,4 | 64,1 | 62,6 |
| Ціна API за 1M токенів (введення / виведення) | $1,00 / $2,70 | Не розкрито | $3,00 / $15,00 |
Рядки з результатами бенчмарків взято з порівняльного графіка StepFun, транскрибованого CellCog і eesel.
Яке обладнання потрібне Step 5 Preview для роботи?
Це модель для дата-центрів. Лише контрольна точка FP8 має розмір 650,32 ГБ. Заявлені конфігурації:
- FP8 у vLLM або SGLang: 4 GPU B300 або 8 GPU H200, кожен варіант на 1 вузлі.
- BF16 у vLLM: 1 вузол із 8 GPU B300 або 2 вузли з 16 GPU H200.
- Transformers: лише офлайн-генерація. Повний робочий процес із сегментами BF16 ще не перевірено від початку до кінця.
vLLM і SGLang постачаються зі спеціальними образами Docker із сумісними з OpenAI API. На Blackwell режими паралельної роботи експертів використовують бекенд MegaMoE. StepFun рекомендує температуру 1,0, top_p 0,95 і top_k 0.
Скільки коштує API?
API StepFun стягує $1,00 за 1M вхідних токенів і $2,70 за 1M вихідних токенів. Звернення до кешу коштують $0,10 за 1M. Ціна виведення включає токени міркування. API підтримує низький, середній і високий рівні інтенсивності міркування, виклик інструментів і виведення за схемою JSON.
Основні висновки
- MoE із 600B параметрів, 27B активних параметрів і контекстом 1M, тепер із відкритими вагами FP8 і BF16.
- Найменша заявлена конфігурація для самостійного розгортання: 4× GPU B300 із FP8.
- Найкращий незалежний результат: 88,3% у міркуванні з довгим контекстом AA-LCR.
- Найслабше місце: 33,3% у Terminal-Bench 4.0.
- API коштує $1,00 за введення і $2,70 за виведення на кожні 1M токенів.
Перегляньте ваги моделі на Hugging Face, репозиторій GitHub, технічний блог, ваги BF16, ModelScope і документацію API. Уся подяка досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання зі 150 тис.+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.