ALTK-Evolve: Як навчена пам’ять очолює рейтинг τ²-bench у завданнях із обслуговування клієнтів без передової моделі

Навчена пам’ять виводить базового агента ReAct із GPT-4.1 на перше місце

Використовуючи GPT-4.1, старішу модель без міркування, базовий агент обслуговування клієнтів досягає показника 67,5% Pass^4 на τ²-bench retail — тобто розв’язує завдання під час всіх чотирьох незалежних спроб у 67,5% завдань. Це вище за показники всіх учасників у категорії retail у знімку таблиці лідерів від 12 жовтня 2026 року. Агент працює на стандартному ReAct-каркасі бенчмарку, а навчені рекомендації додаються до його системного промпту.

ALTK-Evolve створює цей набір правил за допомогою GPT-4.1. Він аналізує спроби агента під час навчальних завдань і використовує модель, щоб узагальнити успіхи та невдачі в короткі поведінкові правила: як автентифікувати клієнта, підтвердити транзакцію чи обробити повернення. Потім ці рекомендації додаються до промпту агента для наступних розмов. Та сама модель забезпечує як вилучення рекомендацій, так і роботу агента; оновлення ваг або анотація людьми не потрібні.

У нашій попередній роботі цей підхід було продемонстровано на агентах для програмування. Тут ми тестуємо його на обслуговуванні клієнтів, де успіх вимагає дотримання галузевих політик, розуміння запиту клієнта та виконання правильних дій за допомогою інструментів.

τ²-bench тестує обслуговування клієнтів, обмежене політиками

τ²-bench (від Sierra) вимірює, наскільки добре агент обробляє розмови з клієнтами за реальних обмежень. Кожне завдання поєднує агента з імітованим за допомогою LLM клієнтом, який має певну мету, набір галузевих інструментів (знайти замовлення, оформити відшкодування, перебронювати рейс) і письмовий документ із політиками, якого агент має дотримуватися. Агент повинен з’ясувати потрібні деталі, діяти в межах політики та виконати правильні — часто незворотні — дії; завдання вважається розв’язаним лише тоді, коли кінцевий стан бази даних відповідає очікуваному результату, тобто винагорода є строго бінарною. Ми використовуємо два домени обслуговування клієнтів: retail та airline.

Ми запускаємо власну реалізацію τ²-bench базового агента ReAct із двофазним циклом THINK → ACT, використовуючи gpt-4.1 як модель агента та gpt-5.5 як модель-симулятор клієнта; 4 випробування для кожного завдання. Єдина зміна, яку ми вносимо, — блок навчених рекомендацій, доданий до системного промпту; усе інше (політика, інструменти, каркас) є стандартним для τ²-bench. Зокрема, навчені рекомендації додаються після галузевої політики у вигляді звичайного списку markdown:

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

Ми вилучаємо рекомендації з траєкторій агента на навчальних завданнях τ²-bench за допомогою gpt-4.1 — тієї самої моделі, яка забезпечує роботу агента, — а потім без змін застосовуємо їх до тестового набору, відкладеного для перевірки.

Рекомендації покращують здатність і надійність

У попередній публікації ми розповідали, як різним моделям і завданням потрібна різна кількість рекомендацій. Відповідно до цієї ідеї ми також оцінюємо різні обсяги рекомендацій, наданих моделі.

Кожна рекомендація має показник підтримки — кількість різних навчальних завдань, з яких її було вилучено; отже, вища підтримка означає правило, яке узагальнилося на більшій кількості завдань, а не разовий випадок. Ми порівнюємо три конфігурації: baseline (без рекомендацій), sup3 (залишаються лише рекомендації з підтримкою ≥ 3 — невелике ядро з високою довірою) та lossless (залишаються всі рекомендації після консолідації, тобто з підтримкою ≥ 1).

Таблиця 1. Конфігурації рекомендацій і кількість збережених рекомендацій за доменами.

Метрики, які ми відстежуємо. Кожне завдання виконується 4 рази, і ми аналізуємо ці випробування двома способами:

• Середня точність — середній показник успішності за 4 випробуваннями. Це вісь здатності: як часто агент виконує завдання правильно?
• Pass^4 — відсоток завдань, які пройшли всі 4 випробування. Це вимірює вісь надійності і є метрикою, яку показує таблиця лідерів τ²-bench. Тут це важливо, адже агент підтримки, який правильно оформлює відшкодування 3 рази з 4, усе одно підводить чверть реальних клієнтів — Pass^4 перевіряє, чи можна довіряти агенту кожного разу, а не лише в середньому.

Рисунок 1. Середня точність і Pass^4 на відкладених завданнях retail та airline для агентів із gpt-4.1 у чотирьох випробуваннях кожного завдання.

Модель агента: gpt-4.1 (симулятор користувача: gpt-5.5).

Таблиця 2. Результати агента на відкладених завданнях із використанням gpt-4.1 у чотирьох випробуваннях кожного завдання. У дужках наведено зміни у відсоткових пунктах порівняно з baseline.

Середня точність зростає в обох доменах — retail +4,4 пункту (78,1 → 82,5), а airline +7,5 пункту (57,5 → 65,0). Надійність зростає ще більше: суворий показник Pass^4 підвищується на +10 пунктів у retail (57,5 → 67,5) і на +10 пунктів в airline (35,0 → 45,0). І ці покращення є результатом більш обґрунтованих рішень, а не довших розмов — безпосередньо тривалість розмови ми розглянемо нижче, у розділі «Кращі результати коштують більше токенів, а не більше ходів».

Оптимальна кількість рекомендацій залежить від домену

Два домени розходяться в питанні, скільки рекомендацій дає найбільшу користь. У retail більше рекомендацій краще за кожною метрикою — невелике ядро sup3 ледь перевершує baseline за точністю, і для справжнього стрибка потрібен повний набір lossless. В airline картина щодо надійності протилежна: lossless лідирує за точністю (65% проти 60%), але компактне ядро sup3 (14 рекомендацій) є більш надійним, підвищуючи Pass^4 до 45% проти 40% у lossless. Це перегукується з попереднім висновком, що спосіб подачі є регулятором, а не константою: показник підтримки варто налаштовувати для кожного домену, а не жорстко фіксувати.

Кращі результати коштують більше токенів, а не більше ходів

Рекомендації не є безкоштовними, але витрати виникають там, де й очікувалося, — у вхідних токенах промпту, а не через довшу, більш розлогую розмову:

Рисунок 2. Загальна вартість LLM на одну розмову за доменом і конфігурацією рекомендацій на повному базовому поділі.

Таблиця 3. Загальна вартість LLM на одну розмову (агент і симулятор користувача) на повному базовому поділі в чотирьох випробуваннях. Менше — краще.

Чи досягає агент результату, розмовляючи довше? Щоб чітко відповісти на це питання, ми порівнюємо однакові умови: завдання, розв’язані як у baseline, так і у варіанті з рекомендаціями, — ідентичний сценарій та seed, справжній набір «те саме завдання, виконане правильно» — і підраховуємо ходи асистента з кожного боку.

Таблиця 4. Кількість ходів асистента на одну розмову для зіставлених запусків, розв’язаних в обох налаштуваннях на тестовому поділі, зведено за чотирма випробуваннями.

Агент не розмовляє довше — у спільному наборі рекомендації роблять розмови трохи коротшими: lossless скорочує їх приблизно на 0,3–0,4 ходу в обох доменах (retail 10,59 → 10,16, airline 9,15 → 8,82), і жоден варіант не збільшує їхню тривалість. Це важливо не лише з погляду вартості: кожен хід є послідовним обміном із LLM, тому менша кількість ходів означає меншу наскрізну затримку — швидше завершення завдання для клієнта, а не лише нижчу вартість. Єдина справжня ціна — на боці введення: більший системний промпт, який надсилається під час кожного виклику LLM: промпт retail із 292 рекомендаціями підвищує вартість приблизно з $0,084 до $0,139 за розмову, тоді як менший набір правил для airline дешевший. А у виробничому середовищі навіть ці витрати значною мірою можна повернути завдяки кешуванню промпту, оскільки блок рекомендацій однаковий у кожному виклику.

Отже, компроміс є вигідним: за трохи вищу вартість введення (значна частина якої на практиці кешується) агент одночасно забезпечує вищу точність, більшу надійність і менший час до завершення — це не звичний компроміс між якістю та затримкою, а одночасне покращення всіх трьох показників.

Навчені рекомендації також покращують агентів, які використовують передові моделі

Досі ми використовували старішу модель без міркування — gpt-4.1. Справедливим запереченням було б те, що навченим рекомендаціям може бути менше що додати агенту, який використовує передову модель: можливо, вони лише усувають прогалини слабшої моделі. Тож ми перевірили це безпосередньо — повторно запустили airline, використовуючи gpt-5.5 і для агента, і для вилучення рекомендацій, на тому самому ReAct-каркасі τ²-bench, повторно видобувши рекомендації з власних запусків агента. З моделлю змінюється одна деталь: жодна з рекомендацій, вилучених у цьому налаштуванні, не досягла підтримки ≥ 3 (максимум — підтримка 2), тому ядром із високою підтримкою тут є sup2, а не sup3.

Таблиця 5. Результати агента gpt-5.5 на відкладених завданнях airline у чотирьох випробуваннях кожного завдання.

Навчені рекомендації покращують і це налаштування. На тих самих відкладених тестових завданнях їх додавання до промпту підвищує точність на +10 пунктів (72,5 → 82,5) і строгий показник Pass^4 на +15 пунктів (55,0 → 70,0) — це більше покращення надійності, ніж ми спостерігали з gpt-4.1 на цих самих завданнях (+10 пунктів), причому від значно вищого початкового рівня. Навчання рекомендацій навколо моделі може покращити агента навіть тоді, коли він починає з потужнішої бази. І якщо надійність baseline коливалася між повторними запусками, конфігурація lossless відтворювала результат точно — отримане покращення є стабільним, а не випадковим.

ALTK-Evolve очолює порівняння в таблиці лідерів

Подання оцінюються на повному базовому поділі (train ∪ test), як того вимагає τ²-bench, і звітуються за показником Pass^4. Оскільки це охоплює повний набір завдань, а не відкладений тестовий поділ, ці показники відрізняються від наведених вище результатів на тестових завданнях. Саме тут проявляється практичний результат — пам’ять на рівні промпту виводить агентів, які використовують кожну базову модель, на рівень або вище за сучасні передові системи:

• Retail: №1. На базовому поділі агент із навченими рекомендаціями досягає Pass^4 = 67,5%, випереджаючи всі передові моделі і RAFT-30B-A3B (61,4%) — модель, дообучену на синтетичних даних τ²-bench retail. Використовуючи стандартні gpt-4.1 і набір правил, доданий до промпту, він перевершує цю дообучену систему на +6,1 пункту.
• Airline: №1 із gpt-5.5, №8 із gpt-4.1 Порівняно з опублікованою таблицею лідерів компактне ядро sup3 дає агенту з gpt-4.1 показник Pass^4 = 44% — 8-ме місце, випереджаючи GPT-5.2 (без міркування) і майже зрівнюючись із Claude Sonnet 4.5. Якщо замінити базову модель на потужнішу, той самий підхід очолює поле: агент із gpt-5.5 досягає 82,0%, випереджаючи всіх учасників із передовими моделями (66–72%).

Рисунок 3. Порівняння Pass^4 між результатами ALTK-Evolve та знімком таблиці лідерів τ²-bench від 12 жовтня 2026 року.

Висновок однаковий для обох доменів: навчання рекомендацій навколо моделі працює з різними базовими моделями — виводячи агента зі старішою моделлю без міркування на рівень передових систем у retail і піднімаючи агента з передовою моделлю на перше місце в airline.

Агенти можуть покращуватися без оновлення ваг

Дообучення моделі на бенчмарку є дорогим, нестабільним і не переноситься на наступний домен. Тут ALTK-Evolve покращує стандартного агента на стандартній моделі в обох доменах — і зрівнюється або перевершує дообучену систему в retail — використовуючи лише рекомендації на рівні промпту, вилучені з власних запусків агента, автоматично, без анотації людьми та без витоку даних із тестового набору.

Посилання:

• Попередні публікації
  1. Думаєте про ACE? Ми можемо зробити це з меншою кількістю токенів
  2. Скільки пам’яті насправді потрібно вашому агенту?
• Бібліотека ALTK-Evolve — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• Подання для таблиці лідерів Retail — τ²-bench PR #542
• Подання для таблиці лідерів Airline — τ²-bench PR #551

Більше від цього автора

Ваш агент виконав завдання бездоганно. Чи зробить він це знову?

• 

122

15 вересня 2026 року

IBM випускає модель SOTA Granite Time Series PatchTST-FM-r2 із ліцензією, дружньою до комерційного використання

• 

60

9 вересня 2026 року