Zyphra AI представляет Zyphra Hierarchical Attention (ZHA): путь к настоящему субквадратичному вниманию

Zyphra выпустила иерархическое внимание Zyphra (ZHA) — метод разреженного внимания, построенный на индексаторе с древовидной структурой. ZHA устраняет известный недостаток разреженного внимания: индексатор, выбирающий токены, по-прежнему сканирует весь контекст. В технической статье Zyphra показано, что ZHA можно дистиллировать в замороженные предварительно обученные модели примерно на 4 млрд токенов. В модели Qwen3.6-35B-A3B метод сохраняет результаты, близкие к плотному вниманию, на тестах рассуждений, агентского программирования и поиска в контексте длиной 256K.

Кратко

• Размер: Это метод, добавляющий к Qwen3.6-35B-A3B 81 920 обучаемых параметров (около 0,00024%). Протестирован на контексте длиной до 256K.
• Работа: Метод дооснащает замороженные предварительно обученные модели после KL-разогрева на 4 млрд токенов при контексте 32K. Ускорение рассчитано на основе теоретической производительности H100 в формате BF16. Оптимизированные ядра не выпущены. Также был протестирован вариант маршрутизатора FP4.
• Производительность: Результаты отличаются от плотного внимания всего на несколько пунктов на 7 тестах рассуждений, программирования и поиска.
• Лучший результат: На LongBench v2 показатель составляет 63,4% (глубокое дерево) против 58,0% у плотного внимания при использовании примерно 1,1% ключей.
• Худший результат: На основанной на NoPE модели Nemotron-3.5-Lightning-30B-A3B показатель глубокого дерева на RULER-13 оказался на 25,3 пункта ниже плотного внимания.

Что такое иерархическое внимание Zyphra (ZHA)?

ZHA — метод разреженного внимания от Zyphra, который находит релевантные ключи с помощью поиска по дереву. Он сохраняет полный KV-кэш. Дерево лишь определяет, какие кэшированные ключи считывает каждый запрос.

Методы с фиксированным состоянием, такие как SSM, и скользящие окна насыщаются при работе с длинными контекстами. Мелкозернистые методы разреживания, например DeepSeek Sparse Attention, оценивают каждый предыдущий токен с помощью индексатора. Итоговое внимание является разреженным, но индексатор по-прежнему увеличивается вместе со всем контекстом.

Для контекстов около 1 млн токенов цитируемые исследования показывают, что на индексацию приходится от 60 до 90% времени работы слоя. ZHA делает разреженным сам поиск.

Как работает древовидный индексатор ZHA?

Построение дерева

ZHA делит ключи на непрерывные фрагменты и сжимает каждый фрагмент в суммарный ключ. Затем сводки группируются и снова сжимаются — уровень за уровнем. При размере фрагмента 4 шесть уровней охватывают 4096 токенов на один узел верхнего уровня.

Сводки формируются из небольшого набора обучаемых опорных запросов. Каждый опорный запрос даёт оценку логарифма массы внимания фрагмента на касательной плоскости. Максимум по этим плоскостям приближённо показывает, сколько внимания любой будущий запрос уделит фрагменту.

Как маршрутизация top-p выбирает токены?

Во время декодирования запрос оценивает узлы верхнего уровня. Он сохраняет наименьший набор, содержащий долю p оценочной массы внимания. Затем раскрываются только дочерние узлы выбранных элементов; процесс повторяется до достижения исходных записей KV.

Top-p делает бюджет адаптивным. Для поиска одного факта затрагивается небольшое число ветвей. Запрос, которому требуется много разрозненных фактов, раскрывает больше ветвей. Первый токен всегда сохраняется как сток внимания.

Как ZHA показывает себя по сравнению с плотным вниманием и MSA?

Команда Zyphra преобразовала Qwen3.6-35B-A3B с помощью 2 деревьев: глубокого (фрагмент 4, 6 уровней) и широкого (фрагмент 256, 1 уровень). Оба используют 16 опорных запросов и p = 0,95. Кроме того, команда обучила индексатор MiniMax Sparse Attention (MSA) на 40 млрд токенов — в 10 раз больше бюджета ZHA.

Тест (Qwen3.6-35B-A3B)	Плотное	ZHA, глубокое	ZHA, широкое	MSA
AIME 2026	93.1	91.2	90.8	91.7
SWE-bench Verified	67.4	67.4	68.4	63.6
Terminal-Bench 2.1	49.9	46.7	53.3	46.1
MMLU-Pro	84.9	85.3	85.2	85.3
GPQA Diamond	84.8	85.0	85.0	83.1
RULER-13 (256K)	96.0	93.3	96.2	77.1
LongBench v2 (с рассуждениями)	58.0	63.4	62.4	49.3

Источник: arXiv 2610.42112, рисунок 5. Все показатели предоставлены самой Zyphra.

Наибольшая разница наблюдается в поиске. На RULER-13 показатель MSA снижается до 77,1%, тогда как оба дерева ZHA сохраняют результат выше 93%. На LongBench v2 глубокое дерево и MSA считывают схожую долю ключей (1,1% против 1%). Глубокое дерево набирает на 14,1 пункта больше.

В 28 конфигурациях деревьев точность RULER оставалась стабильной при обращении к 10–30% ключей. При одинаковой степени сжатия более глубокие деревья сохраняли точность при большей разреженности. Модель с 4 параметрами предсказывает точность RULER по геометрии с RMSE 1,44 пункта.

Насколько быстр ZHA?

Zyphra не выпустила готовых ядер. Компания смоделировала задержку декодирования для одного слоя при размере пакета 1 с использованием теоретической модели производительности. Облегчённая конфигурация использует 1 опорный запрос, размер фрагмента 8 и p = 0,75.

Согласно этой модели, ZHA превосходит плотное внимание примерно на длине 48K токенов, а MSA — около 0,48 млн токенов. При 1 млрд токенов прогнозируемое ускорение достигает 373–417 раз по сравнению с плотным вниманием и 52–58 раз по сравнению с MSA. В сообщении в блоге также приводятся значения 32–35 раз и 4,7–5,1 раза при 10 млн токенов.

При длине 256K прогнозируемый выигрыш умеренный. Конфигурации на границе Парето дают ускорение в 1,93–2,28 раза по сравнению с плотным вниманием при результатах RULER-13 92,7–96,4%. Маршрутизация и выбор элементов сами требуют дополнительных вычислений.

Как ZHA обучается на существующих моделях?

Базовая модель остаётся замороженной. Обучаются только опорные запросы. Функция потерь KL сопоставляет массу плотного внимания для каждого фрагмента на каждом уровне. В экспериментах с Qwen и Nemotron использовалось 3,98 млрд токенов за 1900 шагов при контексте 32K.

Zyphra сообщает, что модели менее чем с 1 млрд параметров плохо справлялись с преобразованием. Результаты резко улучшались у моделей на 4 млрд параметров и больше.

ZHA против MSA, DSA и NSA

Характеристика	ZHA (Zyphra)	MSA (MiniMax)	DSA (DeepSeek)	NSA (DeepSeek)
Индексатор	Многоуровневое дерево сжатых ключей	Плоский индексатор блоков для каждой группы GQA	Быстрый индексатор на уровне токенов	Сжатие + выбор + скользящее окно
Правило выбора	Top-p на каждом уровне (адаптивное)	Первые 16 блоков по 128 токенов	Первые 2048 токенов	16 блоков по 64 токена, окно 512
Стоимость индексации	Сублинейная для каждого запроса (заявлено)	Квадратичная ветвь индекса	Оценивает каждый кэшированный ключ	Не раскрыта
Добавление к предварительно обученной модели	Да, около 4 млрд токенов, основа заморожена	Да, дополнительное обучение на 400 млрд токенов	Продолжение обучения V3.1-Terminus	Исходное предварительное обучение
Крупнейшая представленная модель	MoE 35B (Qwen3.6-35B-A3B)	MoE 109B, 6B активных	MoE 685B	MoE 27B, около 3B активных
Заявленное ускорение	Только моделирование (теоретическая производительность H100)	14,2 раза для предварительного заполнения, 7,6 раза для декодирования при 1 млн (H800)	Не раскрыто	Ускорение при 64K, только на рисунке

Основные выводы

• ZHA ищет данные в KV-кэше с помощью дерева, а не плоского сканирования.
• На замороженной модели 35B обучаются всего 81 920 параметров.
• Широкое дерево достигает 96,2% на RULER-13 при 256K против 96,0% у плотного внимания.
• На том же тесте RULER показатель MSA снижается до 77,1%.
• Ускорение на миллиарде токенов является прогнозом, а не результатом измерений.

---

Ознакомьтесь со статьёй о ZHA на arXiv и техническим блогом Zyphra. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему 150k+ ML SubReddit и подписаться на нашу рассылку. Стоп! Вы есть в Telegram? Теперь вы также можете присоединиться к нам в Telegram.

Хотите сотрудничать с нами для продвижения вашего репозитория GitHub, страницы Hugging Face, выпуска продукта, вебинара и т. д.? Свяжитесь с нами