Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← К новостям

DeepSeek-V4.1-Flash снижает требования к кэшу при миллионном контексте

DeepSeek AI выпустила DeepSeek-V4.1-Flash — мультимодальную модель Mixture-of-Experts с 552B параметров в основной части, 196B параметров Engram и контекстом на 1M токенов. При обработке входных данных на токен активируются 8B параметров, а при декодировании — 16B. Заявленный глобальный объём KV-кэша составляет 890 байт на токен: примерно четверть показателя DeepSeek-V4-Flash и приблизительно в 437 раз меньше, чем у DeepSeek-V1.

Модель построена из 40 слоёв: 20 относятся к причинному энкодеру и 20 — к декодеру. Compressed Sparse Attention 2 распределяет работу с кэшем между слоями через режимы Full, Reindex и Reuse. Основной KV-кэш использует квантизацию E2M1 FP4 с масштабированием E4M3. Состояния sliding-window attention не сохраняются на SSD, а размещаются в распределённом пуле оперативной памяти. При промахе система повторно обрабатывает только последние 128 токенов.

Обучение проводилось на 45T мультимодальных токенов, а расширение контекста до 1M токенов — на 34T токенов. Открытые веса доступны по лицензии MIT с поддержкой vLLM, SGLang и Transformers. В представленных тестах модель опередила Opus-5 и GPT-5.6 Sol в Terminal-Bench 2.1 и DeepSWE v1.1.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости