DeepSeek-V4.1-Flash намалява кеша при контекст от милион токена
DeepSeek AI представи DeepSeek-V4.1-Flash — мултимодален Mixture-of-Experts модел с 552B параметъра в основния модел, 196B Engram параметъра и контекстен прозорец от 1M токена. При обработка на входа се активират 8B параметъра на токен, а при генериране — 16B. Посоченият глобален обем на KV кеша е 890 байта на токен: около една четвърт от този на DeepSeek-V4-Flash и приблизително 437 пъти по-малко от DeepSeek-V1.
Архитектурата има 40 слоя, разделени между причинен енкодер и декодер с по 20 слоя. Compressed Sparse Attention 2 използва режимите Full, Reindex и Reuse, за да споделя кеширана информация между слоевете. Основният кеш се квантува във формат E2M1 FP4 с E4M3 мащабиране. Състоянията от прозоречната attention не се записват на SSD, а се съхраняват в пул от оперативна памет; при липса системата преизчислява последните 128 входни токена.
Обучението обхваща 45T мултимодални токена, като контекстът е разширен до 1M токена чрез 34T токена. Теглата са публикувани под MIT лиценз с поддръжка за vLLM, SGLang и Transformers. Според отчетените резултати моделът изпреварва Opus-5 и GPT-5.6 Sol на Terminal-Bench 2.1 и DeepSWE v1.1.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.