Zyphra представи дървовидна разредена attention архитектура
Zyphra представи Zyphra Hierarchical Attention (ZHA) — метод за разредено внимание, който използва дървовиден индекс, за да избира релевантни записи от key-value кеша на модела. За разлика от подходи, чийто индексатор оценява всеки предишен токен, ZHA организира търсенето на йерархични нива. Ключовете се групират в блокове, от тях се създават обобщени ключове, а top-p маршрутизирането разширява само клоновете с най-голяма оценена маса на вниманието. Пълният KV кеш се съхранява, но дървото определя кои записи се прочитат.