Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

DeepSeek-V4.1-Flash зменшує вимоги до кешу для мільйонного контексту

DeepSeek AI представила DeepSeek-V4.1-Flash — мультимодальну модель Mixture-of-Experts із 552B параметрів основної частини, 196B параметрів Engram і контекстом на 1M токенів. Під час обробки входу на токен активуються 8B параметрів, а під час декодування — 16B. Заявлений глобальний обсяг KV-кешу становить 890 байтів на токен: приблизно чверть показника DeepSeek-V4-Flash і орієнтовно у 437 разів менше, ніж у DeepSeek-V1.

Архітектура містить 40 шарів: 20 шарів причинного енкодера та 20 шарів декодера. Compressed Sparse Attention 2 використовує режими Full, Reindex і Reuse для спільного використання кешованих даних між шарами. Основний KV-кеш квантується у форматі E2M1 FP4 із масштабуванням E4M3. Стани sliding-window attention не зберігаються на SSD, а розміщуються у розподіленому пулі оперативної пам’яті. Якщо потрібного стану немає, система повторно обробляє лише останні 128 токенів.

Навчання охопило 45T мультимодальних токенів, а розширення контексту до 1M токенів — 34T токенів. Відкриті ваги доступні за ліцензією MIT із підтримкою vLLM, SGLang і Transformers. У наведених оцінюваннях модель випередила Opus-5 і GPT-5.6 Sol у Terminal-Bench 2.1 та DeepSWE v1.1.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини