Новий метод виявляє нестабільність ШІ-агентів
Новий підхід до оцінювання та стабілізації ШІ-агентів враховує не лише середню точність, а й відтворюваність результату. В AppWorld агент ReAct на основі GPT-4.1 успішно виконував у середньому 77,4% спроб із п’яти повторень. Водночас усі п’ять запусків були успішними лише для 53,0% завдань. Розрив між показниками становив 24,4 відсоткового пункта.
Інструмент Consistency Analyzer, доданий до системи ALTK-Evolve, аналізує одну збережену траєкторію та повторно перевіряє кожен етап ухвалення рішення, за замовчуванням генеруючи п’ять варіантів. Він виявляє рішення, які можуть змінитися через незначні збурення, без еталонних відповідей, доступу до внутрішніх даних моделі чи нового повного запуску завдання. Виявлені етапи перетворюються на рекомендації, які передаються агенту під час виведення.
На 168 завданнях AppWorld test_normal рекомендації підвищили Pass^5 із 53,0% до 69,0%, а Mean@5 — із 77,4% до 81,0%. Розрив скоротився до 12,0 пункта. На подібних завданнях Pass^5 зріс на 13,0 пункта. Pass^5 вимагає успіху в усіх повтореннях, тоді як Pass@5 зараховує завдання, якщо успішною була хоча б одна спроба.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.