Zyphra AI представя Zyphra Hierarchical Attention (ZHA): път към истински субквадратично внимание
Zyphra представи Zyphra Hierarchical Attention (ZHA) — метод за разредено внимание, изграден около индексатор с дървовидна структура. ZHA адресира известен проблем при разреденото внимание: индексаторът, който избира токените, все още сканира целия контекст. Техническият документ на Zyphra показва, че ZHA може да бъде дистилиран в предварително обучени замразени модели с около 4 млрд. токена. При Qwen3.6-35B-A3B методът остава близо до плътното внимание при бенчмаркове за разсъждение, агентно програмиране и извличане от контекст с дължина 256K.
Накратко
- Размер: Методът добавя 81 920 обучаеми параметъра към Qwen3.6-35B-A3B (около 0,00024%). Тестван е с контекст до 256K.
- Изпълнение: Прилага се към замразени предварително обучени модели след KL загряване с 4 млрд. токена при контекст 32K. Ускоренията са изчислени чрез моделиран H100 BF16 roofline. Не са публикувани оптимизирани ядра. Тестван е и вариант с FP4 маршрутизатор.
- Производителност: В рамките на няколко пункта от плътното внимание при 7 бенчмарка за разсъждение, програмиране и извличане.
- Най-добър резултат: LongBench v2 достига 63,4% (дълбоко дърво) спрямо 58,0% при плътното внимание, като използва около 1,1% от ключовете.
- Най-слаб резултат: При базирания на NoPE Nemotron-3.5-Lightning-30B-A3B дълбокото дърво понижава резултата на RULER-13 с 25,3 пункта спрямо плътното внимание.
Какво представлява Zyphra Hierarchical Attention (ZHA)?
ZHA е метод за разредено внимание от Zyphra, който намира релевантните ключове чрез търсене в дърво. Той запазва целия KV кеш. Дървото само определя кои кеширани ключове да прочете всяка заявка.
Методи с фиксирано състояние като SSM и плъзгащите се прозорци достигат пределите си при дълги контексти. Финозърнестите методи за разреждане като DeepSeek Sparse Attention оценяват всеки предишен токен чрез индексатор. Крайното внимание е разредено, но индексаторът все още нараства заедно с целия контекст.
При близо 1 млн. токена цитираните изследвания показват, че индексирането заема от 60 до 90% от времето на слоя. ZHA прави самото търсене разредено.
Как работи дървовидният индексатор на ZHA?
Изграждане на дървото
ZHA разделя ключовете на последователни групи и компресира всяка група в обобщаващ ключ. Обобщенията се групират и компресират отново на ниво по ниво. При размер на групата 4 шест нива обхващат 4096 токена на най-горния възел.
Обобщенията се създават от малък набор от обучени референтни заявки. Всяка референтна заявка дава оценка на логаритъма на масата на вниманието към групата в допирателната равнина. Максимумът от тези равнини приблизително показва какво внимание би отделила всяка бъдеща заявка на групата.
Как маршрутизирането top-p избира токените?
При декодиране заявката оценява възлите на най-горното ниво. Тя запазва най-малкия набор, който съдържа дял p от изчислената маса на вниманието. След това разширява само тези дъщерни възли и повтаря процеса, докато достигне необработените KV записи.
Top-p прави бюджета адаптивен. Търсенето на един факт засяга малко разклонения. Заявка, която се нуждае от много разпръснати факти, разширява повече разклонения. Първият токен винаги се запазва като „котва“ на вниманието.
Как се представя ZHA спрямо плътното внимание и MSA?
Екипът на Zyphra преобразува Qwen3.6-35B-A3B с 2 дървета: дълбоко (група 4, 6 нива) и широко (група 256, 1 ниво). И двете използват 16 референтни заявки и p = 0,95. Екипът също така обучи индексатор за MiniMax Sparse Attention (MSA) с 40 млрд. токена — 10 пъти повече от бюджета на ZHA.
| Бенчмарк (Qwen3.6-35B-A3B) | Плътно | ZHA дълбоко | ZHA широко | MSA |
|---|---|---|---|---|
| AIME 2026 | 93.1 | 91.2 | 90.8 | 91.7 |
| SWE-bench Verified | 67.4 | 67.4 | 68.4 | 63.6 |
| Terminal-Bench 2.1 | 49.9 | 46.7 | 53.3 | 46.1 |
| MMLU-Pro | 84.9 | 85.3 | 85.2 | 85.3 |
| GPQA Diamond | 84.8 | 85.0 | 85.0 | 83.1 |
| RULER-13 (256K) | 96.0 | 93.3 | 96.2 | 77.1 |
| LongBench v2 (с разсъждение) | 58.0 | 63.4 | 62.4 | 49.3 |
Източник: arXiv 2610.42112, фигура 5. Всички числа са предоставени от Zyphra.
Най-голямата разлика се наблюдава при извличането. MSA спада до 77,1% на RULER-13, докато и двете дървета на ZHA остават над 93%. При LongBench v2 дълбокото дърво и MSA прочитат сходни дялове от ключовете (1,1% спрямо 1%). Дълбокото дърво постига резултат с 14,1 пункта по-висок.
При 28 геометрии на дърветата точността на RULER се запазва стабилна при използване на 10 до 30% от ключовете. При фиксирана компресия по-дълбоките дървета запазват точността при по-висока степен на разреждане. Модел с 4 параметъра предсказва точността на RULER от геометрията със средноквадратична грешка от 1,44 пункта.
Колко бърз е ZHA?
Zyphra не е публикувала ядра. Екипът е моделирал латентността на декодирането за един слой при размер на партидата 1 чрез roofline модел. Леката конфигурация използва 1 референтна заявка, група 8 и p = 0,75.
В този модел ZHA изпреварва плътното внимание при около 48K токена, а MSA — при около 0,48 млн. токена. При 1 млрд. токена прогнозираните ускорения достигат 373–417 пъти спрямо плътното внимание и 52–58 пъти спрямо MSA. В публикацията в блога се посочват ускорения от 32–35 пъти и 4,7–5,1 пъти при 10 млн. токена.
При 256K моделираните ползи са умерени. Конфигурациите по Парето-фронта достигат ускорение от 1,93 до 2,28 пъти спрямо плътното внимание при 92,7–96,4% на RULER-13. Маршрутизирането и изборът добавят собствена цена.
Как се обучава ZHA върху съществуващи модели?
Базовият модел остава замразен. Обучават се само референтните заявки. KL загубата съпоставя масата на плътното внимание за всяка група на всяко ниво. Обученията с Qwen и Nemotron използват 3,98 млрд. токена в 1900 стъпки при контекст 32K.
Zyphra съобщава, че модели с под 1 млрд. параметъра се затрудняват при преобразуването. Резултатите се подобряват рязко при 4 млрд. параметъра и повече.
ZHA спрямо MSA, DSA и NSA
| Характеристика | ZHA (Zyphra) | MSA (MiniMax) | DSA (DeepSeek) | NSA (DeepSeek) |
|---|---|---|---|---|
| Индексатор | Многостепенно дърво от компресирани ключове | Плосък индексатор на блокове за всяка GQA група | Индексатор Lightning на ниво токен | Компресия + избор + плъзгащ се прозорец |
| Правило за избор | Top-p на всяко ниво (адаптивно) | Първите 16 блока от по 128 токена | Първите 2048 токена | 16 блока от по 64 токена, прозорец 512 |
| Цена на индексатора | Подлинейна за заявка (според твърдението) | Квадратичен клон на индекса | Оценява всеки кеширан ключ | Не е оповестена |
| Добавяне към предварително обучен модел | Да, ~4 млрд. токена, гръбнакът е замразен | Да, продължаващо предварително обучение с 400 млрд. токена | Продължаващо обучение на V3.1-Terminus | Вградено предварително обучение |
| Най-голям показан модел | 35B MoE (Qwen3.6-35B-A3B) | 109B MoE, 6B активни | 685B MoE | 27B MoE, ~3B активни |
| Отчетено ускорение | Само моделирано (H100 roofline) | 14,2 пъти при предварително запълване, 7,6 пъти при декодиране на 1M (H800) | Не е оповестено | Ускорения при 64K, само на фигура |
Основни изводи
- ZHA търси в KV кеша чрез дърво, а не чрез плоско сканиране.
- Върху замразен модел с 35B се обучават само 81 920 параметъра.
- Широкото дърво достига 96,2% на RULER-13 при 256K спрямо 96,0% при плътното внимание.
- MSA спада до 77,1% на същия тест RULER.
- Ускоренията при милиард токени са прогнози, а не измервания.
Вижте документа за ZHA в arXiv и техническия блог на Zyphra. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Имате нужда от партньор за популяризиране на вашето GitHub хранилище, страница в Hugging Face, продуктово представяне, уебинар и други? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.