Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← Към новините

ThinkingBox проверява дали AI агентите оставят правилно състояние

ThinkingBox е бенчмарк на Microsoft и Hugging Face, който оценява AI агентите по записите и страничните ефекти, останали в бекенд системата, а не само по финалния им отговор или по валидните извиквания на инструменти. Агентите работят в изолирани MCP сесии, след което се проверява дали са достигнали изискваното крайно състояние.

Бенчмаркът обхваща 507 задачи със запазващо се състояние в търговията на дребно, автомобилното застраховане, пътуванията, необанките и консултирането. Всяка задача се изпълнява 20 пъти от чист бекенд. При единичен опит Claude Opus 5.5 има най-висок общ резултат — 67.16% pass@1, а Kimi-K3 е водещият модел с отворени тегла с 57.37%. Kimi-K3 решава поне веднъж 476 задачи, но преминава успешно и при 20-те опита само при 68. Claude Opus 5.5 постига това при 241 задачи.

Авторите посочват, че 79.9% от неуспешните следи са свързани с използването на инструменти, а 10.3% — с неправилни актуализации на състоянието. В общ анализ 67.24% от провалените опити приключват без видима грешка, въпреки че проверките откриват проблеми. ThinkingBox е достъпен чрез Hugging Face и може да се стартира с OpenEnv.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини