ThinkingBox проверяет, что ИИ-агенты оставляют в базах данных
ThinkingBox — бенчмарк Microsoft и Hugging Face, оценивающий ИИ-агентов по состоянию записей и побочным эффектам в серверной системе, а не только по финальному тексту или корректным вызовам инструментов. Агент запускается в изолированной MCP-сессии, после чего проверяется, достигнуто ли требуемое конечное состояние рабочего процесса.
В набор входят 507 задач с сохранением состояния из сфер розничной торговли, автострахования, путешествий, необанкинга и консалтинга. Каждую задачу выполняют 20 раз, начиная с одинакового чистого состояния базы. По показателю одного запуска Claude Opus 5.5 занял первое место в общем зачёте с 67.16% pass@1. Среди моделей с открытыми весами лидировал Kimi-K3 с 57.37%. Он решил хотя бы однажды 476 из 507 задач, но прошёл все 20 попыток только в 68 случаях. У Claude Opus 5.5 таких задач было 241.
По данным авторов, 79.9% неудач связаны с обработкой инструментов, а 10.3% — с неверными изменениями состояния. В анализе общего набора 67.24% неудачных попыток завершались без явной ошибки инструмента, хотя исполняемые проверки находили нарушения. ThinkingBox доступен через Hugging Face, а запуск бенчмарка поддерживается OpenEnv.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.