Tsinghua AI открыла исходный код AKV — сервера управления кэшем для LLM-агентов на базе SGLang
MarkTechPost·8 мин чтения
Исследователи Университета Цинхуа и Китайского университета Гонконга открыли исходный код AKV — системы обслуживания для управления KV-кэшем в LLM-агентах. Вместо суммирования старой истории агенты удаляют выбранные записи KV-кэша и продолжают использовать остальные. В 3 моделях и 4 тестах для агентов средняя стоимость снижается на 27,7%. Средний балл за выполнение задач повышается на 1,7 пункта. Код распространяется по лицензии Apache-2.0 и основан на SGLang.
Кратко
Что это: система обслуживания и библиотека политик, без весов моделей. Протестирована на GPT-OSS-120B (5,1 млрд активных параметров), MiniMax-M2.7 (230 млрд всего, 10 млрд активных) и MiroThinker-1.7-Mini (30 млрд всего, 3 млрд активных).
Работает на: графических процессорах NVIDIA через SGLang. В статье использовались 8 GPU A800-80GB в режиме BF16. Быстрый запуск обслуживает GPT-OSS-120B на 2 GPU (тензорный параллелизм 2).
Производительность: средняя стоимость на 27,7% ниже, а средний балл на 1,7 пункта выше по сравнению с суммированием по порогу.
Лучший результат: GPT-OSS-120B на SWE-bench Verified: стоимость задачи снижается с 20,0 до 9,7 цента, а балл повышается с 40,0 до 43,2.
Худший результат: MiniMax-M2.7 на BrowseComp-Plus набирает 58,9 балла — на 3,4 пункта ниже, чем 62,3 у Text Engineering.
Что такое инженерия кэша и чем она отличается от инженерии контекста?
AKV — система обслуживания от Университета Цинхуа, которая позволяет LLM-агентам удалять и перемещать записи собственного KV-кэша.
Инженерия контекста сокращает или суммирует текстовую историю. Редактирование этого префикса делает недействительными все последующие состояния KV. Сохранённый суффикс затем необходимо заново предварительно заполнить. Поэтому фреймворки агентов выполняют позднее и агрессивное суммирование, что может приводить к потере деталей из средних раундов.
Инженерия кэша оставляет текстовую траекторию без изменений. Она лишь меняет, какие записи KV остаются видимыми для механизма внимания. Сохранённые записи используются повторно без пересчёта. Они по-прежнему могут содержать информацию из удалённых сообщений. Согласно анализу стоимости в исследовательской статье, чтение KV-кэша составляло 82,4% общей стоимости API.
Как работает AKV?
AKV определяет 3 операции с кэшем. Append — стандартное обновление для новых токенов. Drop удаляет выбранные записи из будущего внимания, не меняя позиций. Repos переписывает ключи сохранённых записей на позиции от 0 до r-1 с использованием вращения RoPE. Значения остаются неизменными, поэтому скрытые состояния не пересчитываются. В абляционных экспериментах добавление Repos повысило долю успешных ответов GPT-OSS-120B на BrowseComp-Plus с 55% до 62%.
Сложность заключается в обслуживании. Идентичные токены могут приводить к разным состояниям кэша в зависимости от истории операций. Простое сопоставление префиксов могло бы повторно использовать неправильные состояния. AKV расширяет радиальное дерево SGLang узлами удаления и перемещения. Удалённый KV освобождается только тогда, когда он больше не нужен ни одному активному запросу. Сегментно-пакетное внимание восстанавливает вытесненные состояния за один проход предварительного заполнения.
Как выглядит API AKV?
Интерфейс не хранит состояние и совместим с OpenAI. Клиенты отправляют полную историю сообщений и два необязательных поля. drop_message сопоставляет индекс сообщения-триггера с сообщениями, которые нужно удалить. reposition содержит индексы, после которых позиции уплотняются.
CachePolicy формирует эти поля на основе триггера, селектора и правила перемещения. Встроенные политики основаны на раундах, токенах или модели. CacheTool позволяет модели самостоятельно вызывать drop_context.
Как AKV показывает себя в тестах для агентов?
Основная политика — последовательное удаление ответов инструментов с сохранением последних 12 ответов. Базовый вариант Standard выполняет суммирование на 96 тыс. токенов (192 тыс. для MiroThinker). Text Engineering выполняет суммирование на 48 тыс. токенов. Использовались тесты BrowseComp-Plus, GAIA-Text, SWE-bench Verified и xbench-DeepSearch-2510.
Модель
Баллы / стоимость Standard
Баллы / стоимость Text Eng.
Баллы / стоимость AKV
MiniMax-M2.7
52.4 / 5.0
52.8 / 5.7
53.7 / 4.4
GPT-OSS-120B
51.0 / 11.2
48.3 / 10.2
53.1 / 7.3
MiroThinker-1.7-Mini
44.1 / 20.4
37.1 / 18.1
45.8 / 14.8
Средняя доля успешных ответов (%) и стоимость (в центах США за задачу) по 4 тестам. Источник: таблица 1 статьи.
AKV также снижает стоимость на 21,9% по сравнению с Text Engineering. Разрыв в точности увеличивается на длинных запусках. На BrowseComp-Plus при 96 тыс. токенов и более GPT-OSS-120B набирает с AKV 37%. Standard набирает 24%, а Text Engineering — 32%, согласно странице проекта.
Стоимость представляет собой эквивалентные API-оценки на основе опубликованных тарифов. Перемещённые токены тарифицируются по ставке попадания в кэш — это намеренно консервативный подход.
Насколько быстро AKV работает в тестах обслуживания?
В тестах обслуживания GPT-OSS-120B выполняла 80 задач SWE-bench Verified с длинным контекстом. При пиковых настройках каждого метода AKV обеспечивает пропускную способность вывода в 1,18 раза выше и пропускную способность ввода в 1,53 раза выше. Задержка запроса P95 сокращается в 1,51 раза.
При параллелизме 16 задержка P95 Standard достигает 229,90 секунды против 30,63 секунды у AKV. Давление на KV заставляет Standard неоднократно выполнять предварительное заполнение. На каждом шаге декодирования время полного внимания сокращается с 7,082 до 2,849 мс.
На 100 задачах SWE-bench Verified при ограниченном бюджете GPU AKV достигла примерно 47% успешных ответов. Standard достиг 40,7%, а Text Engineering — 32,3%.
Могут ли агенты самостоятельно настраивать политику кэша?
MiniMax-M2.7 уточнила политики на 20 задачах BrowseComp-Plus, а затем выполнила 100 отложенных задач. Политика на шестой итерации снизила стоимость на 17,8% по сравнению со Standard при базовой точности. В аннотации сообщается об экономии 7,1% сверх экспертно разработанной политики.
Предоставление управления кэшем в виде инструмента также повысило точность. Результат GPT-OSS-120B на выборке из 100 задач вырос с 52,1 до 61,0. При этом стоимость MiniMax-M2.7 увеличилась с 5,4 до 5,9 цента.
