ThinkingBox проверява дали AI агентите оставят правилно състояние
ThinkingBox е бенчмарк на Microsoft и Hugging Face, който оценява AI агентите по записите и страничните ефекти, останали в бекенд системата, а не само по финалния им отговор или по валидните извиквания на инструменти. Агентите работят в изолирани MCP сесии, след което се проверява дали са достигнали изискваното крайно състояние.
Бенчмаркът обхваща 507 задачи със запазващо се състояние в търговията на дребно, автомобилното застраховане, пътуванията, необанките и консултирането. Всяка задача се изпълнява 20 пъти от чист бекенд. При единичен опит Claude Opus 5.5 има най-висок общ резултат — 67.16% pass@1, а Kimi-K3 е водещият модел с отворени тегла с 57.37%. Kimi-K3 решава поне веднъж 476 задачи, но преминава успешно и при 20-те опита само при 68. Claude Opus 5.5 постига това при 241 задачи.
Авторите посочват, че 79.9% от неуспешните следи са свързани с използването на инструменти, а 10.3% — с неправилни актуализации на състоянието. В общ анализ 67.24% от провалените опити приключват без видима грешка, въпреки че проверките откриват проблеми. ThinkingBox е достъпен чрез Hugging Face и може да се стартира с OpenEnv.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.