StateBench измерва как моделите следят промените в дълги документи

Изследователи представиха StateBench — тест за това доколко езиковите модели проследяват променяща се информация за обекти и герои в дълги документи. Задачите наподобяват преназначаване на променливи в програмен код, движение на персонажи в разказ или предаване на предмети. Те започват с намиране на постоянна или последно зададена стойност и стигат до проследяване на натрупващи се промени и зависимости между променливи.

Бенчмаркът има четири нива: r-trivial, aperiodic, soluble и general finite. Те използват съпоставими последователности от присвоявания, като се променя само видът на операцията. При предварително обучени модели резултатите са били добри при най-лесните задачи, но са се влошавали при aperiodic с нарастване на входа, а при general finite са оставали близо до случайното познаване. Форматът на задачата също е влияел на точността.

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna са се справили добре с двете по-лесни нива, но точността им при soluble и general finite рязко е спаднала при по-дълги входове, достигайки 13% или по-малко при най-дългите тестове. Модели, обучени директно върху StateBench, показват различен резултат: Gated DeltaNet и хибридните модели са обобщавали към много по-дълги последователности, докато трансформерите не са усвоили най-трудното ниво. Остават въпроси за прецизността, ограниченията на паметта и проследяването на нови обекти.