Zyphra представила деревно-структуровану розріджену увагу
Zyphra представила Zyphra Hierarchical Attention (ZHA) — метод розрідженої уваги з деревоподібним індексом для вибору потрібних записів у key-value кеші моделі. На відміну від підходів, індексатор яких оцінює кожен попередній токен, ZHA виконує пошук ієрархічно. Ключі об’єднуються в блоки, стискаються в підсумкові ключі на кількох рівнях, а маршрутизація top-p розкриває лише гілки з найбільшою оціненою масою уваги. Повний KV-кеш зберігається, а дерево визначає, які записи зчитувати.