DeepSeek відкрила вихідний код DeepInfer — фреймворку інференсу, що лежить в основі DeepSeek-V4.1-Flash
DeepSeek відкрила вихідний код DeepInfer — фреймворку для інференсу, на якому працюють її production-сервіси. Фреймворк для інференсу DeepSeek DeepInfer є рушієм, що лежить в основі DeepSeek-V4.1-Flash. Він поширюється за умовами ліцензії Apache 2.0. DeepSeek також випустила deepseek-recipe — свій шар кодування та декодування токенів за ліцензією MIT. Для розробників це рідкісний погляд на реальний стек обслуговування frontier-лабораторії.
Коротко
- Розмір / масштаб: 1 підтримувана модель (DeepSeek-V4.1-Flash), контекстне вікно на 1 млн токенів згідно з карткою моделі.
- Працює на: GPU NVIDIA SM100 (Blackwell) і NPU Huawei Ascend 950. У бенчмарках використовували 4 GPU для prefill і 64 для decode.
- Продуктивність: пропускна здатність production-рівня; DeepSeek заявляє, що 1 кластер обслуговує 155 трильйонів токенів на день.
- Найкращий результат: понад 25 000 вихідних токенів/с/GPU за 256 запитів на ранг (EP64, контекст 131 072).
- Найгірший результат: лише офлайн-інференс. Система KV-кешу, P/D-дезагрегація та балансування навантаження не включені.
Що таке DeepInfer?
DeepInfer — це високопродуктивний рушій інференсу від DeepSeek для її власних моделей. Згідно з README на GitHub, він забезпечує роботу великомасштабних production-сервісів DeepSeek. Цей реліз охоплює офлайн-інференс із ключовими функціями, необхідними для роботи в масштабі. Спочатку його розробляли переважно на базі vLLM, використовуючи також ідеї з SGLang і TensorRT-LLM.
Q&A щодо розгортання надає production-контекст. Один кластер обслуговує 155 трильйонів токенів на день. DeepSeek повідомляє про загальний дохід у розмірі 38 доларів США за GPU-годину за тарифами в періоди низького навантаження.
Як працює DeepInfer?
Рушій об’єднує ядра DeepSeek: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect і спеціальні ядра TileLang. На них базуються 5 системних ідей.
Паралелізм: Attention DP плюс Wide-EP
Для attention використовується паралелізм даних. У шарах MoE застосовується експертний паралелізм із балансувальником навантаження експертів (EPLB). Decode працює в режимі EP64–EP128 усередині суперноди. Prefill використовує найменший EP, який дозволяє пам’ять, зазвичай EP2–EP8.
DSpark: спекулятивне декодування з плануванням за рівнем упевненості
Чернеткова модель пропонує 5 токенів за крок. Confidence Head прогнозує коефіцієнт прийняття кожного чернеткового токена. Потім планувальник перевіряє лише найцінніший префікс. Згідно з Q&A, це скорочує кількість перевірених чернеткових токенів приблизно на 30% (з 5,00 до 3,2–4,4). Прийнята довжина майже не змінюється (3,29 проти 3,20).
Обмежене повторне відтворення SWA
У разі потрапляння в кеш DeepInfer повторно обчислює лише останні 128 токенів стану attention із ковзним вікном. Завдяки цьому вартість повторного обчислення залишається сталою незалежно від довжини контексту. У шарах декодера DeepSeek заявляє про майже двократне скорочення загального обсягу обчислень prefill.
Асинхронне планування, детермінізм і структурований вихід
Планування пакетів на CPU відбувається паралельно з виконанням на GPU, тому GPU не простоює між кроками. Інференс, інваріантний до пакета, і детерміноване семплювання доступні лише на NVIDIA. Структуровані виходи підтримують регулярні вирази, JSON Schema та граматики EBNF.
Наскільки швидкий DeepInfer?
DeepSeek публікує криві Парето для DeepSeek-V4.1-Flash із контекстом 131 072. Prefill виконувався на 4 GPU SM100, а decode — на 64. Наведені нижче показники зчитано з цих графіків; це дані, надані самою компанією.
- Decode (EP64DP64, nextn=3, прийняття 75%): понад 25 000 токенів/с/GPU за 256 запитів на ранг, майже 100 токенів/с на користувача. За 8 запитів швидкість на користувача перевищує 300 токенів/с.
- Prefill (EP4DP4, обмежене повторне відтворення на 140 токенів): близько 60 000 некешованих токенів/с/GPU за 4 096 токенів на ранг. За 65 536 токенів пропускна здатність наближається до 90 000, а час на крок становить приблизно 730 мс.
- Перевага Wide-EP: графік EP8 проти EP64 показує перевагу EP64 за будь-якого розміру пакета.
Динамічна перевірка DSpark підвищує пропускну здатність на 4–7% приблизно за 60 послідовностей на ранг. За 16 послідовностей на ранг вона на 1,5% повільніша за фіксовану перевірку 5 токенів.
Як DeepInfer порівнюється з vLLM, SGLang і TensorRT-LLM?
| Функція | DeepInfer | vLLM | SGLang | TensorRT-LLM |
|---|---|---|---|---|
| Супроводжувач | DeepSeek | проєкт vLLM | проєкт SGLang | NVIDIA |
| Ліцензія | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Підтримувані моделі | 1 (DeepSeek-V4.1-Flash) | понад 200 архітектур | LLM, VLM, дифузійні моделі | матриця підтримки |
| Апаратне забезпечення | NVIDIA SM100, Huawei Ascend 950 | NVIDIA, AMD, Intel, CPU, плагіни, зокрема Ascend, TPU | NVIDIA, AMD, TPU, Intel, Apple, Ascend, Moore Threads | GPU NVIDIA |
| Експертний паралелізм | Так, із EPLB | Так | Так | Wide-EP |
| Спекулятивне декодування | DSpark, із плануванням за рівнем упевненості | n-грамне, суфіксне, EAGLE, DFlash | Так, через чернетки SpecForge | Так |
| P/D-дезагрегація | У цьому релізі відсутня | Так (prefill, decode, encode) | Через llm-d, Dynamo та інші рішення | Так |
| Онлайн-обслуговування | Лише офлайн-інференс | сервер, сумісний з OpenAI | Так | Так |
Які обмеження має DeepInfer?
Для повноцінного сервісу все ще потрібні система KV-кешу та дезагрегація VE/Prefill/Decode. Також необхідне балансування навантаження між репліками паралельних даних. Команда DeepSeek зазначає, що ці компоненти тісно пов’язані з внутрішньою інфраструктурою.
Підтримка апаратного забезпечення обмежена. Для збірки потрібні Linux, GCC 13 або новіша версія, Python 3.12 і CUDA 13 або CANN 9.2. Найменша ефективна production-конфігурація — 64 GPU для prefill плюс 64 GPU для decode. Внутрішнє ядро декодування FlashMLA на 5–10% швидше за публічне. За наскрізною оцінкою DeepSeek, розрив становить не більше 5%.
Ключові висновки
- DeepInfer — production-рушій DeepSeek, який тепер доступний на GitHub за ліцензією Apache 2.0.
- Він підтримує лише DeepSeek-V4.1-Flash на NVIDIA SM100 і Ascend 950.
- Decode досягає понад 25 000 токенів/с/GPU на 64 GPU (за даними самої компанії).
- DSpark скорочує кількість перевірених чернеткових токенів приблизно на 30% за майже незмінного рівня прийняття.
- Лише офлайн: немає сховища KV-кешу, P/D-дезагрегації чи балансувальника навантаження.
Ознайомтеся з репозиторієм на GitHub, Q&A щодо розгортання, deepseek-recipe і карткою моделі. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.