ALTK-Evolve: Как обучаемая память возглавляет рейтинг τ²-bench в задачах обслуживания клиентов без передовой модели

Обучаемая память выводит базового агента ReAct с GPT-4.1 на первое место

Используя GPT-4.1 — более старую модель без механизма рассуждений, — базовый агент обслуживания клиентов достигает 67,5% Pass^4 в τ²-bench retail, то есть решает задачу во всех четырёх независимых попытках для 67,5% задач. Это выше показателя всех решений для розничной торговли в снимке рейтинга от 12 октября 2026 года. Агент работает на стандартном каркасе ReAct бенчмарка, а обученные рекомендации добавляются в его системный промпт.

ALTK-Evolve создаёт этот сценарий с помощью GPT-4.1. Система анализирует попытки агента на обучающих задачах и использует модель, чтобы свести успешные и неудачные действия к коротким поведенческим правилам: как аутентифицировать клиента, подтвердить транзакцию или оформить возврат. Затем эти рекомендации добавляются в промпт агента для последующих разговоров. Одна и та же модель используется и для извлечения рекомендаций, и для работы агента; обновление весов или разметка людьми не требуются.

В нашей предыдущей работе этот подход был продемонстрирован на агентах для программирования. Здесь мы проверяем его в обслуживании клиентов, где успех требует соблюдения отраслевых политик, понимания запроса клиента и выполнения правильных действий с инструментами.

τ²-bench проверяет обслуживание клиентов с соблюдением политик

τ²-bench (от Sierra) измеряет, насколько хорошо агент ведёт диалоги с клиентами в условиях реальных ограничений. Каждая задача объединяет агента с имитируемым с помощью LLM клиентом, у которого есть цель, набор отраслевых инструментов (найти заказ, оформить возврат средств, перебронировать рейс) и письменный документ с политиками, которым агент должен следовать. Агенту необходимо выяснить нужные сведения, соблюдать политики и выполнять правильные — часто необратимые — действия; задача считается решённой только тогда, когда итоговое состояние базы данных совпадает с ожидаемым результатом, что представляет собой строгую бинарную награду. Мы используем два домена обслуживания клиентов: розничную торговлю и авиаперевозки.

Мы запускаем собственную реализацию τ²-bench базового агента ReAct с двухфазным циклом ДУМАТЬ → ДЕЙСТВОВАТЬ, используя gpt-4.1 в качестве модели агента и gpt-5.5 в качестве модели-симулятора клиента; 4 испытания на задачу. Единственное изменение, которое мы вносим, — блок обученных рекомендаций, добавленный в системный промпт; всё остальное (политика, инструменты, каркас) является стандартным для τ²-bench. В частности, обученные рекомендации добавляются после отраслевой политики в виде обычного списка Markdown:

Вы — агент службы поддержки, который помогает пользователям в соответствии с приведённой ниже политикой.
Всегда строго следуйте политике. При необходимости используйте предоставленные инструменты.

<policy>
# Политика агента розничной торговли

Агент розничной торговли может помогать пользователям:
- отменять или изменять ожидающие заказы
- возвращать или обменивать доставленные заказы
- изменять адрес пользователя по умолчанию
…
</policy>

## Рекомендации, изученные по результатам предыдущих попыток решения задач (тщательно следуйте им):
- Аутентифицируйте пользователя перед выполнением любых действий, связанных с заказом. Если адрес электронной почты недоступен, подтвердите личность по полному имени и почтовому индексу с помощью API find_user_id_by_name_zip.
- Всегда подтверждайте все предполагаемые изменения (изменение, отмену, возврат, обмен) с помощью ясного структурированного резюме и требуйте явного одобрения пользователя перед выполнением любого действия, обновляющего базу данных.
- При оформлении возврата или обмена сообщайте о возврате средств с разбивкой по товарам и уточняйте сроки возврата — не ждите, пока пользователь спросит.
- Выполняйте одно действие за шаг: никогда не совмещайте вызов инструмента с сообщением для пользователя в одном ходе и дожидайтесь результата работы инструмента перед ответом.
- Прежде чем искать пользователя, разберите и очистите его имя — например, разделите объединённый идентификатор `daiki_johnson_9523` на имя и фамилию; после нескольких неудачных попыток поиска укажите точный требуемый формат.
…

Мы извлекаем рекомендации из траекторий агента на обучающих задачах τ²-bench с помощью gpt-4.1 — той же модели, которая управляет агентом, — а затем применяем их без изменений к отложенному тестовому набору.

Рекомендации повышают возможности и надёжность

В предыдущей публикации мы рассказали о том, что разным моделям и задачам требуется разная дозировка рекомендаций. Следуя этой идее, мы также оцениваем разные объёмы рекомендаций, предоставляемых модели.

Каждая рекомендация имеет показатель поддержки — число различных обучающих задач, из которых она была извлечена; более высокая поддержка означает, что правило обобщалось на большее количество задач, а не было единичным случаем. Мы сравниваем три конфигурации: baseline (без рекомендаций), sup3 (сохраняются только рекомендации с поддержкой ≥ 3 — небольшое ядро с высокой уверенностью) и lossless (сохраняются все рекомендации после объединения, то есть с поддержкой ≥ 1).

Таблица 1. Конфигурации рекомендаций и количество сохранённых рекомендаций по доменам.

Отслеживаемые метрики. Каждая задача выполняется 4 раза, и мы анализируем эти испытания двумя способами:

• Средняя точность — средний показатель успешности по 4 испытаниям. Это ось возможностей: как часто агент справляется с задачей?
• Pass^4 — доля задач, успешно пройденных во всех 4 испытаниях. Это показатель оси надёжности и метрика, используемая в рейтинге τ²-bench. Здесь она важна потому, что агент поддержки, который оформляет возврат средств правильно 3 раза из 4, всё равно подводит четверть реальных клиентов; Pass^4 показывает, можно ли доверять агенту каждый раз, а не только в среднем.

Рисунок 1. Средняя точность и Pass^4 на отложенных задачах розничной торговли и авиаперевозок для агентов, использующих gpt-4.1, при четырёх испытаниях на задачу.

Модель агента: gpt-4.1 (симулятор пользователя: gpt-5.5).

Таблица 2. Результаты агента на отложенных задачах с использованием gpt-4.1 при четырёх испытаниях на задачу. В скобках указано изменение в процентных пунктах относительно базового уровня.

Средняя точность растёт в обоих доменах: в розничной торговле на +4,4 пункта (78,1 → 82,5), а в авиаперевозках на +7,5 пункта (57,5 → 65,0). Надёжность растёт ещё сильнее: строгий показатель Pass^4 увеличивается на +10 пунктов в розничной торговле (57,5 → 67,5) и на +10 пунктов в авиаперевозках (35,0 → 45,0). При этом улучшения достигаются благодаря более информированным решениям, а не более длинным разговорам — длину диалогов мы непосредственно анализируем ниже, в разделе «Лучшие результаты требуют больше токенов, но не больше ходов».

Оптимальный объём рекомендаций зависит от домена

Два домена дают разные ответы на вопрос, какой объём рекомендаций приносит пользу. В розничной торговле большее количество лучше по каждой метрике: небольшое ядро sup3 едва превосходит базовый уровень по точности, а заметный скачок даёт только полный набор lossless. В авиаперевозках картина с точки зрения надёжности меняется: lossless лидирует по точности (65% против 60%), но компактное ядро sup3 (14 рекомендаций) является более надёжным, повышая Pass^4 до 45% против 40% у lossless. Как и в предыдущем выводе о том, что объём рекомендаций — это регулятор, а не константа, показатель поддержки стоит настраивать отдельно для каждого домена, а не задавать жёстко.

Лучшие результаты требуют больше токенов, но не больше ходов

Рекомендации не бесплатны, но затраты возникают там, где и ожидается, — в входных токенах промпта, а не в более длинном и более запутанном разговоре:

Рисунок 2. Общая стоимость работы LLM на один разговор по доменам и конфигурациям рекомендаций на полном базовом разбиении.

Таблица 3. Общая стоимость работы LLM на один разговор (агент и симулятор пользователя) на полном базовом разбиении при четырёх испытаниях. Чем ниже, тем лучше.

Достигает ли агент результата, говоря дольше? Чтобы корректно ответить на этот вопрос, мы сравниваем сопоставимые случаи: задачи, решённые и в базовой конфигурации, и с вариантом рекомендаций, — идентичный сценарий и начальное значение, настоящий набор «одна и та же задача, решённая правильно», — и подсчитываем ходы ассистента в каждом случае.

Таблица 4. Число ходов ассистента на разговор для сопоставленных запусков, успешно завершённых в обеих настройках на тестовом разбиении, с объединением четырёх испытаний.

Агент не говорит дольше — в общем наборе рекомендации делают разговоры немного короче: lossless сокращает их примерно на 0,3–0,4 хода в обоих доменах (розничная торговля: 10,59 → 10,16, авиаперевозки: 9,15 → 8,82), и ни один вариант не увеличивает их продолжительность. Это важно не только с точки зрения стоимости: каждый ход — это последовательный обмен с LLM, поэтому меньшее число ходов означает меньшую сквозную задержку — более быстрое завершение задачи для клиента, а не только более низкую стоимость. Единственная реальная цена приходится на входную часть — увеличенный системный промпт, отправляемый при каждом вызове LLM: в розничной торговле промпт с 292 рекомендациями повышает стоимость примерно с $0,084 до $0,139 за разговор, тогда как меньший сценарий для авиаперевозок обходится дешевле. А в производственной среде даже эти затраты в значительной степени можно вернуть с помощью кэширования промптов, поскольку блок рекомендаций идентичен при каждом вызове.

Таким образом, компромисс оказывается выгодным: за немного более высокую стоимость входных данных (значительная часть которой на практике кэшируется) агент одновременно обеспечивает более высокую точность, более высокую надёжность и меньшее время до завершения — это не обычный компромисс между качеством и задержкой, а улучшение всех трёх показателей сразу.

Обученные рекомендации также улучшают агентов, использующих передовые модели

До сих пор мы использовали более старую модель без механизма рассуждений — gpt-4.1. Справедливое возражение состоит в том, что обученные рекомендации могут дать меньше агенту, использующему передовую модель: возможно, они лишь компенсируют недостатки более слабой модели. Поэтому мы проверили это напрямую: повторно запустили авиаперевозки, используя gpt-5.5 и для агента, и для извлечения рекомендаций, на том же каркасе ReAct τ²-bench, извлекая рекомендации из собственных запусков агента. С моделью меняется одна деталь: ни одна рекомендация, извлечённая в этой конфигурации, не достигла поддержки ≥ 3 (максимум — поддержка 2), поэтому ядром с высокой поддержкой здесь является sup2, а не sup3.

Таблица 5. Результаты агента авиаперевозок на отложенных задачах с использованием gpt-5.5 при четырёх испытаниях на задачу.

Обученные рекомендации улучшают и эту конфигурацию. На тех же отложенных тестовых задачах их добавление в промпт повышает точность на +10 пунктов (72,5 → 82,5), а строгий показатель Pass^4 — на +15 пунктов (55,0 → 70,0), то есть надёжность растёт сильнее, чем наблюдалось у gpt-4.1 на этих же задачах (+10 пунктов), причём от значительно более высокого исходного уровня. Обучение рекомендаций вокруг модели может улучшить агента даже тогда, когда он изначально работает на более сильной базе. Кроме того, если надёжность базовой конфигурации колебалась при повторных запусках, конфигурация lossless воспроизводила результат точно — приобретённый выигрыш надёжен, а не случаен.

ALTK-Evolve возглавляет сравнительный рейтинг

Результаты оцениваются на полном базовом разбиении (train ∪ test), как того требует τ²-bench, и публикуются по показателю Pass^4. Поскольку сюда входит полный набор задач, а не только отложенное тестовое разбиение, эти значения отличаются от приведённых выше показателей на тестовых задачах. Именно здесь проявляется практический результат: память на уровне промпта выводит агентов, использующих каждую из базовых моделей, на уровень или выше текущих передовых решений:

• Розничная торговля: №1. На базовом разбиении агент с обученными рекомендациями достигает Pass^4 = 67,5%, опережая все передовые модели и RAFT-30B-A3B (61,4%) — модель, дообученную на синтетических данных τ²-bench для розничной торговли. Используя стандартный gpt-4.1 и сценарий, добавленный в промпт, он превосходит эту дообученную систему на +6,1 пункта.
• Авиаперевозки: №1 с использованием gpt-5.5, №8 с использованием gpt-4.1. В опубликованном рейтинге компактное ядро sup3 даёт агенту на базе gpt-4.1 показатель Pass^4 = 44% — 8-е место, выше GPT-5.2 (без рассуждений) и почти на уровне Claude Sonnet 4.5. При использовании более сильной базовой модели тот же подход полностью возглавляет рейтинг: агент на базе gpt-5.5 достигает 82,0%, опережая все передовые решения (66–72%).

Рисунок 3. Сравнение Pass^4 для запусков ALTK-Evolve и снимка рейтинга τ²-bench от 12 октября 2026 года.

В обоих доменах вывод одинаков: обучение рекомендаций вокруг модели работает с разными базовыми моделями — выводит агента на базе более старой модели без рассуждений на уровень передовых решений в розничной торговле и поднимает агента на базе передовой модели на первое место в авиаперевозках.

Агенты могут улучшаться без обновления весов

Дообучение модели на бенчмарке дорого, нестабильно и не переносится на следующий домен. Здесь ALTK-Evolve улучшает стандартного агента на стандартной модели в обоих доменах и соответствует или превосходит дообученную систему в розничной торговле, используя только рекомендации на уровне промпта, извлечённые из собственных запусков агента, автоматически, без разметки людьми и без утечки данных из тестового набора.

Ссылки:

• Предыдущие публикации
  1. Думаете об ACE? Мы можем сделать это с меньшим числом токенов
  2. Сколько памяти на самом деле нужно вашему агенту?
• Библиотека ALTK-Evolve — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• Отправка решения для рейтинга розничной торговли — τ²-bench PR #542
• Отправка решения для рейтинга авиаперевозок — τ²-bench PR #551

Другие материалы этого автора

Ваш агент справился с задачей. Повторит ли он это снова?

• 

122

15 сентября 2026 года

IBM выпускает модель SOTA Granite Time Series PatchTST-FM-r2 с коммерчески дружественной лицензией

• 

60

9 сентября 2026 года