Изследовател от Princeton предлага Recurrent Looped Transformer (RLT), който пренася състоянието на декодера през всеки токен, фиксирайки 96 блока на токен с неограничена времева дълбочина
Техническият доклад на Yifan Zhang за Recurrent Looped Transformer (RLT) предлага каузален енкодер, съчетан с рекурентен декодер, който пренася крайното си скрито състояние и кеша на плъзгащия се прозорец за вниманието на всеки слой през всеки токен от промпта и отговора, без нулиране при обслужването…