DeepSeek-V4.1-Flash снижает требования к кэшу при миллионном контексте
DeepSeek AI выпустила DeepSeek-V4.1-Flash — мультимодальную модель Mixture-of-Experts с 552B параметров в основной части, 196B параметров Engram и контекстом на 1M токенов. При обработке входных данных на токен активируются 8B параметров, а при декодировании — 16B. Заявленный глобальный объём KV-кэша составляет 890 байт на токен: примерно четверть показателя DeepSeek-V4-Flash и приблизительно в 437 раз меньше, чем у DeepSeek-V1.
Модель построена из 40 слоёв: 20 относятся к причинному энкодеру и 20 — к декодеру. Compressed Sparse Attention 2 распределяет работу с кэшем между слоями через режимы Full, Reindex и Reuse. Основной KV-кэш использует квантизацию E2M1 FP4 с масштабированием E4M3. Состояния sliding-window attention не сохраняются на SSD, а размещаются в распределённом пуле оперативной памяти. При промахе система повторно обрабатывает только последние 128 токенов.
Обучение проводилось на 45T мультимодальных токенов, а расширение контекста до 1M токенов — на 34T токенов. Открытые веса доступны по лицензии MIT с поддержкой vLLM, SGLang и Transformers. В представленных тестах модель опередила Opus-5 и GPT-5.6 Sol в Terminal-Bench 2.1 и DeepSWE v1.1.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.