StateBench проверяет отслеживание изменений в длинных документах

Исследователи представили StateBench — тест для оценки того, как языковые модели отслеживают изменения состояния объектов и персонажей в длинных документах. Задачи имитируют повторное присваивание переменных в коде, перемещение героев в рассказе и передачу предметов. От моделей требуется либо найти неизменное или последнее значение, либо проследить накопительные обновления и зависимости между переменными.

В бенчмарке четыре уровня сложности: r-trivial, aperiodic, soluble и general finite. Для сопоставления используются одинаковые последовательности присваиваний, но меняется тип операции. Предобученные модели хорошо справлялись с простейшими заданиями, теряли точность на aperiodic при увеличении входа и оставались примерно на уровне случайного ответа на general finite. Результаты также зависели от формата постановки задачи.

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna показали хорошие результаты на двух более лёгких уровнях. На soluble и general finite их точность резко снижалась по мере роста входа и составляла 13% или меньше на самых длинных тестах general finite. При обучении непосредственно на StateBench модели Gated DeltaNet и гибридные системы обобщали на значительно более длинные последовательности, тогда как трансформеры не смогли освоить самый сложный уровень. Авторы отмечают нерешённые вопросы о точности вычислений, ограничениях памяти и появлении новых объектов по ходу текста.