Знайомтеся: TokenEconomizer — плагін Microsoft, який скорочує витрати токенів програмувальних агентів до 30,9%
Команда дослідників із Microsoft Research та UC Berkeley представила TokenEconomizer — контролер витрат із відкритим кодом для агентів програмування. TokenEconomizer — це плагін, який навчається на основі попередніх сесій у репозиторії, щоб скорочувати зайві витрати в наступних сесіях. Він працює з Claude Code, Codex, GitHub Copilot CLI та Pi. Він не змінює ваги моделі або код агента. На 277 завданнях SWE-Bench він знизив середню вартість на 18,4–30,9% у 5 конфігураціях агент-модель.
Коротко
- Пакет: Пакет Python зі стандартної бібліотеки та плагіни для агентів із 3 механізмами, які можна перемикати.
- Працює на: Будь-якій машині, де запущено Claude Code, Codex, Copilot CLI або Pi з Python 3.10+. Не потребує GPU чи власного API-ключа.
- Продуктивність: Середня вартість SWE-Bench на 18,4–30,9% нижча, а також нижча в усіх 30 комірках «репозиторій-конфігурація».
- Найкращий результат: Вартість на 30,9% нижча для Claude Code з Opus 4.8 (33,2% у поєднанні з RTK).
- Найгірший результат: Лише 6,4–9,3% економії під час аудитів ReposVul; Pass@1 знижується на 1,0 пункту в Opus 4.8.
Чому агенти програмування витрачають зайві токени?
Під час кожного ходу агента система повторно стягує плату за системний промпт, кожну завантажену схему інструментів і всю історію. Дослідницька команда проаналізувала 60 завдань SWE-Bench у 6 репозиторіях, використовуючи Claude Code з Opus 4.8. Вони виявили 3 регулярні джерела зайвих витрат:
- Повторне дослідження: коли поточному завданню передують 5 завдань, 30% викликів інструментів повторюють попередню дію.
- Невикористані інструменти: під час кожного ходу завантажуються 23 схеми інструментів. 16 із них ніколи не викликаються, а 3 охоплюють 98% викликів.
- Цикли помилок: 10 невдалих запусків становили 17% завдань, але 32% загальних витрат.
Вони також протестували 3 фіксовані стратегії з відкритим кодом: RTK, Serena і RepoMap від Aider. Жодна з них не була дешевшою всюди. Усі 3 знижували вартість для Django та підвищували її для SymPy.
Як працює TokenEconomizer?
TokenEconomizer — це зовнішній контролер, який розглядає агента як «чорну скриньку». Він зберігає стан для кожного репозиторію, сформований на основі завершених трасувань. Перед кожним завданням він налаштовує 3 політики через промпт, параметри інструментів і потік подій.
1. Мікронавички
LLM-пропонувальник перетворює дайджести трасувань на факти в один рядок, наприклад робочу команду тестування. Кожен факт містить детектори на основі регулярних виразів, які перевіряють наступні трасування без виклику моделі. Факт потрапляє в промпт після 3 підтверджень у завданнях із неперекривними зміненими файлами. Його частота потреби також має залишатися на рівні не менше 0,4. Одне протиріччя зараховується як 5 підтверджень, тому неправильні факти швидко вилучаються.
2. Скорочення інструментів
Інструменти shell, читання, запису та редагування завжди залишаються доступними. Інші інструменти маскуються після 3 послідовних завдань, у яких вони не використовувалися, або коли LLM-суддя визнає їх недоречними. Повний каталог повертається кожні 5 завдань для повторного аудиту. У Django з Claude Code перший запит у завданні 2 скоротився з 43 351 до 16 295 токенів промпту.
3. Втручання в цикли помилок
Контролер навчається ліміту ходів: 1,25 × 90-й перцентиль довжини успішних запусків. Недорогі перевірки на основі правил виявляють повторні помилки або високу щільність помилок. Потім LLM-суддя визначає, чи застряг агент, із рівнем впевненості 0,7 або вище. Агенту, який застряг, надається 1 перенаправлення, а потім зупинка, якщо цикл повторюється.
Що показують результати SWE-Bench?
| Конфігурація | Вартість порівняно зі стандартною | Стандартний Pass@1 | Pass@1 TokenEconomizer |
|---|---|---|---|
| Claude Code + Sonnet 5 | -23,6% | 74,7 | 76,0 |
| Claude Code + Opus 4.8 | -30,9% | 74,0 | 73,0 |
| Codex + GPT-5.6 Terra | -24,7% | 73,8 | 74,7 |
| Codex + GPT-5.6 Sol | -26,1% | 80,1 | 81,7 |
| Copilot CLI + Sonnet 5 | -18,4% | 75,0 | 77,6 |
Джерело: arXiv 2610.22732, таблиця 1. Витрати включають усі виклики контролера. 3 початкові значення для кожної конфігурації.
Pass@1 покращився у 4 із 5 конфігурацій. Нижчі зусилля на міркування заощадили кошти, але знизили Pass@1 на 1,8–10,3 пункту. Сам RTK підвищив вартість у 12 із 30 комірок «репозиторій-конфігурація», а RepoMap — у 15.
Економія накопичується з часом. Спочатку більшість репозиторіїв коштувала дорожче, але до шостого завдання всі вони стали дешевшими. Окремо в Claude Code скорочення інструментів заощадило 13,2–17,7%, мікронавички — 11,8–14,3%, а захист від циклів — 5,4–7,1%.
Результати також зберігалися за межами SWE-Bench. Витрати знизилися на 16,0–21,2% у Web-Bench і на 16,5–19,6% у CredData. Для ReposVul економія становила лише 6,4–9,3%, оскільки коротші запуски залишають менше можливостей для скорочення.
Як він порівнюється з іншими інструментами заощадження токенів?
| Функція | TokenEconomizer | RTK | Serena | Aider RepoMap |
|---|---|---|---|---|
| Підхід | Навчається політик для кожного репозиторію на основі попередніх сесій | Стискає виведення команд shell | MCP-сервер із інструментами для роботи з кодом на рівні символів | Ранжована карта символів репозиторію в промпті |
| Навчається на попередніх завданнях | Так | Ні | Ні | Ні |
| Ліцензія | Apache 2.0 | Apache 2.0 для CLI; BUSL-1.1 для рушія | GPL-3.0-or-later (MIT для SolidLSP) | Apache 2.0 |
| Агенти | Claude Code, Codex, Copilot CLI, Pi | 18 інструментів програмування на основі ШІ | Будь-який MCP-клієнт | Aider |
| Зміна середньої вартості SWE-Bench (стаття, 5 конфігурацій) | -18,4% до -30,9% | -8,9% до +4,5% | Не включено в основні запуски (підвищив об’єднану вартість під час профілювання) | -6,1% до +6,5% |
| Комірки з вищою вартістю (з 30) | 0 | 12 | Не розкрито | 15 |
Рядки про вартість: стаття про TokenEconomizer. Ліцензії та твердження: репозиторій або документація кожного проєкту.
Як встановити TokenEconomizer?
Для роботи плагіна потрібен один із 4 агентів і Python 3.10 або новіший. У Claude Code клонуйте репозиторій, додайте його як маркетплейс, а потім виконайте claude plugin install tokeneconomizer@tokeneconomizer. Навчені дані зберігаються локально в ~/.tokeneconomizer. Скорочення інструментів і захист від циклів увімкнені за замовчуванням. Мікронавички вимкнені за замовчуванням, оскільки пропонувальник додає виклики моделі.
Ключові висновки
- TokenEconomizer скорочує вартість SWE-Bench на 18,4–30,9% без зміни агента.
- Він був дешевшим у всіх 30 комірках «репозиторій-конфігурація»; RTK і RepoMap — ні.
- Скорочення інструментів є найпотужнішим окремим важелем і дає 13,2–17,7% економії.
- Pass@1 зріс у 4 із 5 конфігурацій і знизився на 1,0 пункту в Opus 4.8.
- Він поширюється за ліцензією Apache 2.0 і встановлюється на Claude Code, Codex, Copilot CLI та Pi.
Ознайомтеся зі статтею, репозиторієм на GitHub і сторінкою проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання зі 150 тис.+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію на GitHub АБО сторінки на Hugging Face, АБО релізу продукту, АБО вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.