ThinkingBox перевіряє, який стан AI-агенти залишають у базах даних
ThinkingBox — бенчмарк Microsoft і Hugging Face, що оцінює AI-агентів за записами та побічними ефектами, які вони залишають у серверній системі, а не лише за фінальною відповіддю чи коректними викликами інструментів. Агент працює в ізольованій MCP-сесії, після чого перевіряється, чи досягнуто потрібного кінцевого стану процесу.
Бенчмарк охоплює 507 задач зі збереженням стану у роздрібній торгівлі, автострахуванні, подорожах, необанкінгу та консалтингу. Кожну задачу виконують 20 разів із чистого бекенду. За результатом однієї спроби загальним лідером став Claude Opus 5.5 із показником pass@1 67.16%. Серед моделей із відкритими вагами першим був Kimi-K3 — 57.37%. Він розв’язав принаймні раз 476 із 507 задач, але успішно пройшов усі 20 спроб лише для 68 задач. У Claude Opus 5.5 таких задач було 241.
Автори зазначають, що 79.9% невдач стосувалися використання інструментів, а 10.3% — неправильних змін стану. У спільному аналізі 67.24% невдалих спроб завершувалися без явної помилки інструмента, хоча виконувані перевірки виявляли проблеми. ThinkingBox доступний через Hugging Face, а запустити бенчмарк можна за допомогою OpenEnv.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.