Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← Към новините

DeepSeek-V4.1-Flash намалява кеша при контекст от милион токена

DeepSeek AI представи DeepSeek-V4.1-Flash — мултимодален Mixture-of-Experts модел с 552B параметъра в основния модел, 196B Engram параметъра и контекстен прозорец от 1M токена. При обработка на входа се активират 8B параметъра на токен, а при генериране — 16B. Посоченият глобален обем на KV кеша е 890 байта на токен: около една четвърт от този на DeepSeek-V4-Flash и приблизително 437 пъти по-малко от DeepSeek-V1.

Архитектурата има 40 слоя, разделени между причинен енкодер и декодер с по 20 слоя. Compressed Sparse Attention 2 използва режимите Full, Reindex и Reuse, за да споделя кеширана информация между слоевете. Основният кеш се квантува във формат E2M1 FP4 с E4M3 мащабиране. Състоянията от прозоречната attention не се записват на SSD, а се съхраняват в пул от оперативна памет; при липса системата преизчислява последните 128 входни токена.

Обучението обхваща 45T мултимодални токена, като контекстът е разширен до 1M токена чрез 34T токена. Теглата са публикувани под MIT лиценз с поддръжка за vLLM, SGLang и Transformers. Според отчетените резултати моделът изпреварва Opus-5 и GPT-5.6 Sol на Terminal-Bench 2.1 и DeepSWE v1.1.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини