Новый метод выявляет нестабильность ИИ-агентов
Новый подход к оценке и стабилизации ИИ-агентов учитывает не только среднюю точность, но и воспроизводимость результата. В AppWorld агент ReAct на базе GPT-4.1 успешно выполнял в среднем 77,4% попыток из пяти повторений. Однако все пять запусков были успешными лишь для 53,0% задач. Разрыв между показателями составил 24,4 процентного пункта.
Инструмент Consistency Analyzer, включённый в систему ALTK-Evolve, анализирует одну сохранённую траекторию и повторно проверяет каждый этап принятия решения, по умолчанию запрашивая пять вариантов ответа. Он находит решения, которые могут измениться из-за небольших возмущений, без эталонных ответов, доступа к внутренним данным модели и нового сквозного запуска задачи. Обнаруженные этапы преобразуются в рекомендации, которые передаются агенту во время вывода.
На 168 задачах AppWorld test_normal эти рекомендации повысили Pass^5 с 53,0% до 69,0%, а Mean@5 — с 77,4% до 81,0%. Разрыв сократился до 12,0 пунктов. На похожих задачах Pass^5 вырос на 13,0 пункта. Показатель Pass^5 требует успеха во всех повторениях, тогда как Pass@5 засчитывает задачу, если успешным оказался хотя бы один запуск.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.