Sakhanda Wire
NVDA $155.46 -0.44% MSFT $506.24 -2.27% GOOGL $280.20 -1.24% META $618.87 -1.20% AMZN $257.89 +0.05%
← До новин

ThinkingBox перевіряє, який стан AI-агенти залишають у базах даних

ThinkingBox — бенчмарк Microsoft і Hugging Face, що оцінює AI-агентів за записами та побічними ефектами, які вони залишають у серверній системі, а не лише за фінальною відповіддю чи коректними викликами інструментів. Агент працює в ізольованій MCP-сесії, після чого перевіряється, чи досягнуто потрібного кінцевого стану процесу.

Бенчмарк охоплює 507 задач зі збереженням стану у роздрібній торгівлі, автострахуванні, подорожах, необанкінгу та консалтингу. Кожну задачу виконують 20 разів із чистого бекенду. За результатом однієї спроби загальним лідером став Claude Opus 5.5 із показником pass@1 67.16%. Серед моделей із відкритими вагами першим був Kimi-K3 — 57.37%. Він розв’язав принаймні раз 476 із 507 задач, але успішно пройшов усі 20 спроб лише для 68 задач. У Claude Opus 5.5 таких задач було 241.

Автори зазначають, що 79.9% невдач стосувалися використання інструментів, а 10.3% — неправильних змін стану. У спільному аналізі 67.24% невдалих спроб завершувалися без явної помилки інструмента, хоча виконувані перевірки виявляли проблеми. ThinkingBox доступний через Hugging Face, а запустити бенчмарк можна за допомогою OpenEnv.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини