Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

Новый метод выявляет нестабильность ИИ-агентов

Новый подход к оценке и стабилизации ИИ-агентов учитывает не только среднюю точность, но и воспроизводимость результата. В AppWorld агент ReAct на базе GPT-4.1 успешно выполнял в среднем 77,4% попыток из пяти повторений. Однако все пять запусков были успешными лишь для 53,0% задач. Разрыв между показателями составил 24,4 процентного пункта.

Инструмент Consistency Analyzer, включённый в систему ALTK-Evolve, анализирует одну сохранённую траекторию и повторно проверяет каждый этап принятия решения, по умолчанию запрашивая пять вариантов ответа. Он находит решения, которые могут измениться из-за небольших возмущений, без эталонных ответов, доступа к внутренним данным модели и нового сквозного запуска задачи. Обнаруженные этапы преобразуются в рекомендации, которые передаются агенту во время вывода.

На 168 задачах AppWorld test_normal эти рекомендации повысили Pass^5 с 53,0% до 69,0%, а Mean@5 — с 77,4% до 81,0%. Разрыв сократился до 12,0 пунктов. На похожих задачах Pass^5 вырос на 13,0 пункта. Показатель Pass^5 требует успеха во всех повторениях, тогда как Pass@5 засчитывает задачу, если успешным оказался хотя бы один запуск.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости