Дослідник із Princeton пропонує Recurrent Looped Transformer (RLT), який переносить стан декодера через кожен токен, фіксуючи 96 блоків на токен із необмеженою часовою глибиною
У технічному звіті Yifan Zhang про Recurrent Looped Transformer (RLT) пропонується каузальний енкодер у парі з рекурентним декодером, який переносить свій фінальний прихований стан і пошаровий кеш уваги зі ковзним вікном через кожен токен промпту та відповіді, без скидання під час обслуговування…