Zyphra представила древовидное разреженное внимание для длинного контекста
Zyphra представила Zyphra Hierarchical Attention (ZHA) — метод разреженного внимания с древовидным индексом для выбора нужных записей в key-value-кеше модели. В отличие от подходов, индексатор которых оценивает каждый предыдущий токен, ZHA выполняет поиск по уровням дерева. Ключи объединяются в блоки, затем последовательно сжимаются в сводные ключи, а маршрутизация top-p раскрывает только ветви с наибольшей оцененной массой внимания. Полный KV-кеш при этом сохраняется, а дерево определяет, какие записи будут прочитаны.