Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← До новин

Новий метод виявляє нестабільність ШІ-агентів

Новий підхід до оцінювання та стабілізації ШІ-агентів враховує не лише середню точність, а й відтворюваність результату. В AppWorld агент ReAct на основі GPT-4.1 успішно виконував у середньому 77,4% спроб із п’яти повторень. Водночас усі п’ять запусків були успішними лише для 53,0% завдань. Розрив між показниками становив 24,4 відсоткового пункта.

Інструмент Consistency Analyzer, доданий до системи ALTK-Evolve, аналізує одну збережену траєкторію та повторно перевіряє кожен етап ухвалення рішення, за замовчуванням генеруючи п’ять варіантів. Він виявляє рішення, які можуть змінитися через незначні збурення, без еталонних відповідей, доступу до внутрішніх даних моделі чи нового повного запуску завдання. Виявлені етапи перетворюються на рекомендації, які передаються агенту під час виведення.

На 168 завданнях AppWorld test_normal рекомендації підвищили Pass^5 із 53,0% до 69,0%, а Mean@5 — із 77,4% до 81,0%. Розрив скоротився до 12,0 пункта. На подібних завданнях Pass^5 зріс на 13,0 пункта. Pass^5 вимагає успіху в усіх повтореннях, тоді як Pass@5 зараховує завдання, якщо успішною була хоча б одна спроба.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини