StateBench перевіряє, як моделі відстежують зміни в довгих документах
Дослідники представили StateBench — тест для оцінювання того, як мовні моделі відстежують зміни стану об’єктів і персонажів у довгих документах. Завдання відтворюють повторне присвоєння змінних у коді, переміщення героїв у розповіді та передавання предметів. Вони охоплюють як пошук незмінного або останнього значення, так і відстеження накопичувальних оновлень та залежностей між змінними.