Исследователь из Princeton предлагает Recurrent Looped Transformer (RLT), переносящий состояние декодера через каждый токен и фиксирующий 96 блоков на токен при неограниченной временной глубине
В техническом отчёте Yifan Zhang о Recurrent Looped Transformer (RLT) предлагается каузальный энкодер в паре с рекуррентным декодером, который переносит своё финальное скрытое состояние и послойный кэш внимания со скользящим окном через каждый токен промпта и ответа, без сброса при обслуживании…