StateBench проверяет отслеживание изменений в длинных документах
Исследователи представили StateBench — тест для оценки того, как языковые модели отслеживают изменения состояния объектов и персонажей в длинных документах. Задачи имитируют повторное присваивание переменных в коде, перемещение героев в рассказе и передачу предметов. От моделей требуется либо найти неизменное или последнее значение, либо проследить накопительные обновления и зависимости между переменными.