Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

Нов метод измерва и намалява непостоянството на AI агентите

Нов подход за оценяване и стабилизиране на AI агенти разглежда не само средната точност, а и това дали агентът повтаря един и същ резултат. В AppWorld ReAct агент с GPT-4.1 е успявал средно в 77,4% от петте повторения. Само при 53,0% от задачите обаче всички пет изпълнения са били успешни, което дава разлика от 24,4 процентни пункта.

Инструментът Consistency Analyzer, добавен към системата ALTK-Evolve, анализира една вече записана траектория и повторно изпробва всяка стъпка за вземане на решение, като по подразбиране генерира пет варианта. Така се откриват решения, чувствителни към малки промени, без еталонни отговори, достъп до вътрешни данни на модела или ново изпълнение на задачата от край до край. Опасните стъпки се превръщат в указания, подавани на агента при извеждане.

Върху 168 задачи от AppWorld test_normal указанията повишават Pass^5 от 53,0% на 69,0%, а Mean@5 — от 77,4% на 81,0%. Разликата намалява до 12,0 пункта. При свързани задачи Pass^5 нараства с 13,0 пункта. Pass^5 изисква успех във всички повторения, докато Pass@5 отчита успех, ако поне един опит е успешен.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини