DeepSeek-V4.1-Flash зменшує вимоги до кешу для мільйонного контексту
DeepSeek AI представила DeepSeek-V4.1-Flash — мультимодальну модель Mixture-of-Experts із 552B параметрів основної частини, 196B параметрів Engram і контекстом на 1M токенів. Під час обробки входу на токен активуються 8B параметрів, а під час декодування — 16B. Заявлений глобальний обсяг KV-кешу становить 890 байтів на токен: приблизно чверть показника DeepSeek-V4-Flash і орієнтовно у 437 разів менше, ніж у DeepSeek-V1.
Архітектура містить 40 шарів: 20 шарів причинного енкодера та 20 шарів декодера. Compressed Sparse Attention 2 використовує режими Full, Reindex і Reuse для спільного використання кешованих даних між шарами. Основний KV-кеш квантується у форматі E2M1 FP4 із масштабуванням E4M3. Стани sliding-window attention не зберігаються на SSD, а розміщуються у розподіленому пулі оперативної пам’яті. Якщо потрібного стану немає, система повторно обробляє лише останні 128 токенів.
Навчання охопило 45T мультимодальних токенів, а розширення контексту до 1M токенів — 34T токенів. Відкриті ваги доступні за ліцензією MIT із підтримкою vLLM, SGLang і Transformers. У наведених оцінюваннях модель випередила Opus-5 і GPT-5.6 Sol у Terminal-Bench 2.1 та DeepSWE v1.1.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.