Tsinghua AI публикува с отворен код AKV — сървър за управление на кеша за LLM агенти върху SGLang
MarkTechPost·8 мин четене
Изследователи от университета Цинхуа и CUHK пуснаха с отворен код AKV — система за обслужване и инженеринг на KV кеша при LLM агенти. Вместо да обобщават старата история, агентите премахват избрани записи от KV кеша и продължават да използват останалите. При 3 модела и 4 бенчмарка за агенти средната цена намалява с 27,7%. Средният резултат при задачите се повишава с 1,7 точки. Кодът е лицензиран под Apache-2.0 и е изграден върху SGLang.
Накратко
Какво представлява: Система за обслужване плюс библиотека от политики, без тегла. Тествана е с GPT-OSS-120B (5,1B активни параметъра), MiniMax-M2.7 (230B общо, 10B активни) и MiroThinker-1.7-Mini (30B общо, 3B активни).
Работи на: NVIDIA GPU чрез SGLang. В статията са използвани 8 A800-80GB GPU в BF16. Бързият старт обслужва GPT-OSS-120B на 2 GPU (тензорен паралелизъм 2).
Производителност: 27,7% по-ниска средна цена и +1,7 точки среден резултат спрямо обобщаването при достигане на праг.
Най-добър резултат: GPT-OSS-120B в SWE-bench Verified: цената на задача спада от 20,0 на 9,7 цента, а резултатът се повишава от 40,0 на 43,2.
Най-слаб резултат: MiniMax-M2.7 в BrowseComp-Plus получава 58,9 точки — с 3,4 точки под 62,3 на Text Engineering.
Какво представлява инженерингът на кеша и по какво се различава от инженерингa на контекста?
AKV е система за обслужване от Цинхуа, която позволява на LLM агентите сами да премахват и пренареждат своя KV кеш.
Инженерингът на контекста съкращава или обобщава текстовата история. Редактирането на този префикс обезсилва всяко следващо KV състояние. Запазеният суфикс трябва да бъде предварително изчислен отново. Затова системите обобщават късно и агресивно, което може да доведе до загуба на детайли от междинните ходове.
Инженерингът на кеша оставя текстовата траектория непроменена. Той променя само това кои KV записи остават видими за механизма на вниманието. Запазените записи се използват повторно без преизчисление. Те все още могат да носят информация от премахнатите съобщения. В анализа на разходите в изследователската статия четенето на KV кеша представлява 82,4% от общата цена на API.
Как работи AKV?
AKV дефинира 3 операции с кеша. Append е стандартната актуализация за нови токени. Drop премахва избрани записи от бъдещото внимание, без да променя позициите. Repos презаписва запазените ключове на позиции от 0 до r-1 чрез RoPE ротация. Стойностите остават непроменени, така че скритите състояния не се преизчисляват. В аблационните тестове добавянето на Repos повишава успеваемостта на GPT-OSS-120B в BrowseComp-Plus от 55% на 62%.
Трудната част е обслужването. Идентични токени могат да доведат до различни състояния на кеша при различни истории на операциите. Обикновеното съпоставяне на префикси може да използва неправилните състояния. AKV разширява радиалното дърво на SGLang с възли за премахване и пренареждане. Премахнатият KV се освобождава едва когато нито една активна заявка повече не се нуждае от него. Вниманието със сегментни пакети възстановява изместените състояния с един проход за предварително изчисление.
Как изглежда API интерфейсът на AKV?
Интерфейсът е без състояние и съвместим с OpenAI. Клиентите изпращат пълната история на съобщенията и две незадължителни полета. drop_message свързва индекса на задействащо съобщение със съобщенията, които трябва да бъдат премахнати. reposition съдържа индексите, след които позициите се уплътняват.
CachePolicy изгражда тези полета от задействащ елемент, селектор и правило за пренареждане. Вградените политики са базирани на ходове, токени или модел. CacheTool позволява на модела сам да извика drop_context.
Как се представя AKV при бенчмаркове за агенти?
Основната политика е постепенно премахване на отговорите от инструментите, като се запазват последните 12 отговора. Базовият метод Standard обобщава при 96K токена (192K за MiroThinker). Text Engineering обобщава при 48K. Бенчмарковете са BrowseComp-Plus, GAIA-Text, SWE-bench Verified и xbench-DeepSearch-2510.
Модел
Резултат / цена на Standard
Резултат / цена на Text Eng.
Резултат / цена на AKV
MiniMax-M2.7
52.4 / 5.0
52.8 / 5.7
53.7 / 4.4
GPT-OSS-120B
51.0 / 11.2
48.3 / 10.2
53.1 / 7.3
MiroThinker-1.7-Mini
44.1 / 20.4
37.1 / 18.1
45.8 / 14.8
Средна успеваемост (%) и цена (американски центове на задача) при 4 бенчмарка. Източник: Таблица 1 в статията.
AKV намалява цената и с 21,9% спрямо Text Engineering. Разликата в точността се увеличава при дълги изпълнения. При BrowseComp-Plus с 96K токена и повече GPT-OSS-120B получава 37% с AKV. Standard получава 24%, а Text Engineering — 32%, според страницата на проекта.
Цените са еквивалентни на API оценки, базирани на публикувани тарифи. Пренаредените токени се таксуват по тарифата за попадение в кеша — умишлено консервативен избор.
Тестовете за обслужване са проведени с GPT-OSS-120B върху 80 задачи от SWE-bench Verified с дълъг контекст. При пиковата настройка на всеки метод AKV постига 1,18 пъти по-висока пропускателна способност на изхода и 1,53 пъти по-висока пропускателна способност на входа. Латентността на заявките на ниво P95 е 1,51 пъти по-ниска.
При конкурентност 16 латентността P95 на Standard достига 229,90 секунди спрямо 30,63 секунди за AKV. Натоварването на KV кеша принуждава Standard да извършва многократно предварително изчисление. На стъпка на декодиране времето за пълно внимание намалява от 7,082 на 2,849 ms.
При 100 задачи от SWE-bench Verified в рамките на бюджет за GPU AKV достига около 47% успеваемост. Standard достига 40,7%, а Text Engineering — 32,3%.
Могат ли агентите сами да настройват политиката си за кеширане?
MiniMax-M2.7 усъвършенства политики върху 20 задачи от BrowseComp-Plus, след което изпълнява 100 задачи за проверка. Политиката от шестата итерация намалява цената с 17,8% спрямо Standard при базова точност. В резюмето се съобщава за икономия от 7,1% спрямо политиката, проектирана от експерти.
Предоставянето на контрол върху кеша като инструмент също повишава точността. GPT-OSS-120B се повишава от 52,1 на 61,0 точки върху подмножество от 100 задачи. Цената на MiniMax-M2.7 обаче се увеличава от 5,4 на 5,9 цента.
