ALTK-Evolve: Как обучаемата памет оглавява класацията на τ²-bench в задачи за обслужване на клиенти без фронтиерен модел

Научената памет извежда базов ReAct агент с GPT-4.1 на върха

Използвайки GPT-4.1 — по-стар модел без способност за разсъждение — базов агент за обслужване на клиенти достига 67,5% Pass^4 в τ²-bench retail, което означава, че решава задачата при всичките четири независими опита за 67,5% от задачите. Той се представя по-добре от всеки друг участник в категорията retail в снимката на класацията от 12 октомври 2026 г. Работи върху стандартната ReAct структура на бенчмарка, като към системната му подсказка са добавени научени указания.

ALTK-Evolve изгражда този набор от правила с помощта на GPT-4.1. Той анализира опитите на агента върху обучаващите задачи и използва модела, за да извлече от успехите и неуспехите кратки поведенчески правила: как да се удостовери клиент, да се потвърди транзакция или да се обработи връщане. След това тези указания се добавят към подсказката на агента за последващите разговори. Същият модел се използва както за извличането на указанията, така и за самия агент; не са необходими актуализации на теглата или човешка анотация.

Нашата предишна работа демонстрира този подход при агенти за програмиране. Тук го тестваме при обслужване на клиенти, където успехът изисква спазване на секторни политики, разбиране на заявката на клиента и изпълнение на правилните действия с инструменти.

τ²-bench тества обслужване на клиенти, обвързано с политики

τ²-bench (от Sierra) измерва доколко добре един агент се справя с разговори с клиенти при реални ограничения. Всяка задача съпоставя агента с LLM-симулиран клиент, който има определена цел, набор от домейн инструменти (проверка на поръчка, възстановяване на сума, промяна на резервация за полет) и писмен документ с политики, който агентът трябва да следва. Агентът трябва да извлече правилните подробности, да спазва политиката и да предприеме правилните — често необратими — действия; задачата се счита за решена само когато крайното състояние на базата данни съвпадне с очаквания резултат, което представлява строг двоичен сигнал за награда. Използваме двата му домейна за обслужване на клиенти: търговия на дребно и авиокомпании.

Изпълняваме собствената реализация на τ²-bench за базов ReAct агент с двуфазен цикъл МИСЛИ → ДЕЙСТВАЙ, като използваме gpt-4.1 като модел на агента и gpt-5.5 като модел на симулирания клиент; 4 изпитвания за всяка задача. Единствената промяна, която правим, е блок от научени указания, добавен към системната подсказка — всичко останало (политика, инструменти, структура) е стандартното за τ²-bench. Конкретно, научените указания се добавят след политиката на домейна като обикновен markdown списък:

Вие сте агент за обслужване на клиенти, който помага на потребителите според политиката по-долу.
Винаги следвайте стриктно политиката. Използвайте предоставените инструменти, когато е необходимо.

<policy>
# Политика за агент в търговията на дребно

Като агент в търговията на дребно можете да помагате на потребителите да:
- анулират или променят чакащи поръчки
- връщат или заменят доставени поръчки
- променят адреса по подразбиране на потребителя
…
</policy>

## Указания, научени от минали опити със задачи (следвайте ги внимателно):
- Удостоверявайте потребителя, преди да предприемете действие, свързано с поръчка. Ако имейлът не е наличен, потвърдете самоличността чрез пълното име и пощенския код, като използвате API-то find_user_id_by_name_zip.
- Винаги потвърждавайте всички предвидени промени (промяна, анулиране, връщане, замяна) с ясно структурирано обобщение и изисквайте изрично одобрение от потребителя, преди да изпълните действие, което актуализира базата данни.
- При обработване на връщане или замяна съобщавайте възстановяването на сумата с разбивка по артикули и уточнявайте срока за възстановяване — не чакайте потребителят да попита.
- Предприемайте по едно действие на стъпка: никога не комбинирайте извикване на инструмент със съобщение към потребителя в един и същи ход и изчакайте резултата от инструмента, преди да отговорите.
- Преди да потърсите потребител, анализирайте и почистете името му — например разделете комбиниран идентификатор като `daiki_johnson_9523` на собствено и фамилно име — а след няколко неуспешни търсения посочете точния формат, от който се нуждаете.
…

Извличаме указания от траекториите на агента при обучаващите задачи на τ²-bench, като използваме gpt-4.1 — същия модел, който задвижва агента — и след това ги прилагаме без промяна върху отделения набор от тестови задачи.

Указанията подобряват способностите и надеждността

В предишна публикация обсъдихме как различните модели и задачи изискват различна доза насоки. В съответствие с тази идея оценяваме и различни количества указания, предоставени на модела.

Всяко указание има брой подкрепи — броят на различните обучаващи задачи, от които е извлечено. По-високата подкрепа означава правило, обобщило се в повече задачи, а не еднократно правило. Сравняваме три конфигурации: baseline (без указания), sup3 (запазват се само указания с подкрепа ≥ 3 — малко ядро с висока увереност) и lossless (запазва се всяко указание след консолидирането, т.е. подкрепа ≥ 1).

Таблица 1. Конфигурации на указанията и броят на запазените указания по домейн.

Показателите, които проследяваме. Всяка задача се изпълнява 4 пъти, а ние разглеждаме тези изпитвания по два начина:

• Средна точност — средният процент успеваемост от 4-те изпитвания. Това е оста на способността: колко често агентът се справя правилно?
• Pass^4 — процентът задачи, преминали успешно и при четирите изпитвания. Това измерва оста на надеждността и е показателят, който отчита класацията на τ²-bench. Той е важен тук, защото агент за поддръжка, който разрешава проблем с възстановяване на сума 3 от 4 пъти, все пак подвежда една четвърт от реалните клиенти — Pass^4 проверява дали можете да се доверите на агента всеки път, а не само средно.

Фигура 1. Средна точност и Pass^4 при отделените тестови задачи за търговията на дребно и авиокомпаниите за агенти, използващи gpt-4.1, при четири изпитвания на задача.

Модел на агента: gpt-4.1 (симулатор на потребителя: gpt-5.5).

Таблица 2. Резултати на агента върху отделения набор от задачи с gpt-4.1 при четири изпитвания на задача. Скобите показват промените в процентни пунктове спрямо базовата стойност.

Средната точност се повишава и в двата домейна — при търговията на дребно с +4,4 пункта (78,1 → 82,5), а при авиокомпаниите с +7,5 пункта (57,5 → 65,0). Надеждността се подобрява още повече: строгият показател Pass^4 нараства с +10 пункта при търговията на дребно (57,5 → 67,5) и с +10 пункта при авиокомпаниите (35,0 → 45,0). А подобренията идват от по-добре информирани решения, а не от по-дълги разговори — разглеждаме директно дължината на разговорите в „По-доброто представяне струва повече токени, а не повече ходове“ по-долу.

Най-доброто количество насоки зависи от домейна

Двата домейна се разминават по въпроса колко насоки са полезни. При търговията на дребно повече е по-добре по всеки показател — малкото ядро sup3 едва надминава базовата стойност по точност, а за истинския скок е необходим пълният набор lossless. При авиокомпаниите картината се обръща при надеждността: lossless води по точност (65% срещу 60%), но компактното ядро sup3 (14 указания) е по-надеждно, като повишава Pass^4 до 45% спрямо 40% за lossless. В съзвучие с по-ранното откритие, че начинът на предоставяне е регулатор, а не константа, броят подкрепи е параметър, който си струва да се настройва според домейна, а не стойност, която да се задава твърдо.

По-доброто представяне струва повече токени, а не повече ходове

Указанията не са безплатни, но разходът се проявява там, където очаквате — в входните токени на подсказката, а не в по-дълъг и по-хаотичен разговор:

Фигура 2. Общ разход за LLM на разговор по домейн и конфигурация на указанията върху пълния базов набор.

Таблица 3. Общ разход за LLM на разговор (агент и симулатор на потребителя) върху пълния базов набор при четири изпитвания. По-ниското е по-добре.

Достига ли агентът резултата, като говори по-дълго? За да отговорим коректно, сравняваме еднакви случаи: задачите, решени и при базовата конфигурация, и при варианта с указания — идентичен сценарий и начална стойност, истински набор „една и съща задача, изпълнена правилно“ — и преброяваме ходовете на асистента от двете страни.

Таблица 4. Ходове на асистента на разговор при съпоставени изпълнения, решени и при двете настройки върху тестовия набор, обединяващи четири изпитвания.

Агентът не говори по-дълго — при споделения набор указанията правят разговорите малко по-кратки: lossless съкращава приблизително 0,3–0,4 хода и в двата домейна (търговия на дребно 10,59 → 10,16, авиокомпании 9,15 → 8,82), а нито един вариант не ги удължава. Това е важно не само за разхода: всеки ход е последователен кръгов обмен с LLM, така че по-малко ходове означава по-ниска крайна латентност — по-бързо приключване за клиента, а не просто по-ниска цена. Единствената реална цена е от страната на входа — по-голямата системна подсказка, изпращана при всяко извикване на LLM: подсказката с 292 указания при търговията на дребно повишава разхода от около $0,084 до около $0,139 на разговор, докато по-малкият набор от правила при авиокомпаниите е по-евтин. А в продукционна среда дори този разход до голяма степен може да се възстанови чрез кеширане на подсказката, тъй като блокът с указания е идентичен при всяко извикване.

Следователно компромисът е благоприятен: срещу малко по-висок разход за входа (голяма част от който на практика се кешира) агентът едновременно постига по-висока точност, по-висока надеждност и по-кратко време до приключване — не обичайния компромис между качество и латентност, а и трите показателя се подобряват едновременно.

Научените указания подобряват и агенти, използващи авангардни модели

Досега използвахме по-стар модел без разсъждение — gpt-4.1. Основателно възражение е, че научените указания може да добавят по-малко към агент, използващ авангарден модел: възможно е те просто да запълват пропуските на по-слаб модел. Затова го тествахме директно — повторихме експеримента с авиокомпании, като използвахме gpt-5.5 както за агента, така и за извличането на указанията, върху същата ReAct структура на τ²-bench, като указанията бяха извлечени от собствените изпълнения на агента. Една подробност се променя според модела: нито едно от указанията, извлечени при тази настройка, не достигна подкрепа ≥ 3 (максимумът е подкрепа 2), така че ядрото с висока подкрепа тук е sup2, а не sup3.

Таблица 5. Резултати върху отделения набор от задачи за авиокомпании за агента gpt-5.5 при четири изпитвания на задача.

Научените указания подобряват и тази настройка. Върху същите отделени тестови задачи добавянето им към подсказката повишава точността с +10 пункта (72,5 → 82,5) и строгия показател Pass^4 с +15 пункта (55,0 → 70,0) — по-голямо подобрение на надеждността от наблюдаваното при gpt-4.1 върху същите задачи (+10 пункта), при това от много по-висока изходна стойност. Научаването на указания около модела може да подобри агента дори когато той започва от по-силна база. А докато надеждността на baseline варираше между повторните изпълнения, конфигурацията lossless възпроизведе резултата точно — придобитото подобрение е надеждно, а не щастлива случайност.

ALTK-Evolve оглавява сравнението с класацията

Изпращаните резултати се оценяват върху пълния базов набор (train ∪ test), както изисква τ²-bench, и се отчитат чрез Pass^4. Тъй като това обхваща целия набор от задачи, а не само отделения тестов набор, тези стойности се различават от посочените по-горе резултати за тестовите задачи. Именно тук се проявява практическата полза — паметта на ниво подсказка извежда агентите, използващи всеки базов модел, до или над настоящите авангардни модели:

• Търговия на дребно: №1. Върху базовия набор агентът с научени указания достига Pass^4 = 67,5%, изпреварвайки всеки авангарден модел и RAFT-30B-A3B (61,4%), модел, дообучен върху синтетични данни за τ²-bench retail. Използвайки стандартния gpt-4.1 и набор от правила, добавен към подсказката, той надминава тази дообучена система с +6,1 пункта.
• Авиокомпании: №1 с gpt-5.5, №8 с gpt-4.1 Спрямо публикуваната класация компактното ядро sup3 дава на агента с gpt-4.1 Pass^4 = 44% — 8-о място, изпреварвайки GPT-5.2 (без разсъждение) и почти изравнявайки се с Claude Sonnet 4.5. При замяна с по-силната база същият подход оглавява класацията: агентът с gpt-5.5 достига 82,0%, надминавайки всички авангардни участници (66–72%).

Фигура 3. Сравнение по Pass^4 между изпълненията на ALTK-Evolve и снимката на класацията на τ²-bench от 12 октомври 2026 г.

Посланието е едно и също и в двата домейна: научаването на указания около модела работи с различни базови модели — извежда агент, използващ по-стар модел без разсъждение, до нивото на авангардните модели при търговията на дребно и извежда агент, използващ авангарден модел, на върха при авиокомпаниите.

Агентите могат да се подобряват без актуализация на теглата

Дообучаването на модел върху бенчмарк е скъпо, нестабилно и не се пренася към следващия домейн. Тук ALTK-Evolve подобрява стандартен агент върху стандартен модел и в двата домейна — и се изравнява или надминава дообучена система при търговията на дребно — използвайки само указания на ниво подсказка, извлечени автоматично от собствените изпълнения на агента, без човешка анотация и без изтичане на данни от тестовия набор.

Връзки:

• Предишни публикации
  1. Мислите за ACE? Можем да го направим с по-малко токени
  2. Колко памет всъщност е необходима на вашия агент?
• Библиотека ALTK-Evolve — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• Изпращане за класацията при търговията на дребно — τ²-bench PR #542
• Изпращане за класацията при авиокомпаниите - τ²-bench PR #551

Още от този автор

Агентът ви се справи отлично със задачата. Ще го направи ли отново?

• 

122

15 септември 2026 г.

IBM представя модела SOTA Granite Time Series PatchTST-FM-r2 с лиценз, удобен за комерсиална употреба

• 

60

9 септември 2026 г.