StateBench перевіряє, як моделі відстежують зміни в довгих документах

Дослідники представили StateBench — тест для оцінювання того, як мовні моделі відстежують зміни стану об’єктів і персонажів у довгих документах. Завдання відтворюють повторне присвоєння змінних у коді, переміщення героїв у розповіді та передавання предметів. Вони охоплюють як пошук незмінного або останнього значення, так і відстеження накопичувальних оновлень та залежностей між змінними.

Бенчмарк має чотири рівні складності: r-trivial, aperiodic, soluble і general finite. Для чесного порівняння використовуються однакові послідовності присвоювань, але змінюється тип операції. Попередньо навчені моделі добре виконували найпростіші завдання, втрачали точність на aperiodic зі збільшенням вхідних даних і залишалися приблизно на рівні випадкового вгадування на general finite. На результат також впливав формат завдання.

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol і GPT-6 Luna добре впоралися з двома легшими рівнями. На soluble та general finite їхня точність різко падала зі зростанням довжини входу й становила 13% або менше на найдовших тестах general finite. Моделі, навчені безпосередньо на StateBench, показали іншу картину: Gated DeltaNet і гібридні системи узагальнювали на значно довші послідовності, а трансформери не опанували найскладніший рівень. Дослідники також вказали на відкриті питання щодо точності, обмежень пам’яті та появи нових об’єктів у процесі тексту.