Дослідник запропонував трансформер із перенесенням стану між токенами
Дослідник із Принстона Yifan Zhang запропонував Recurrent Looped Transformer (RLT) — архітектуру, у якій декодер переносить свій кінцевий прихований стан і кеш пошарового увагового механізму зі змінним вікном від одного токена до наступного. Перенесення відбувається і для промпту, і для відповіді, без скидання на межі між ними. RLT поєднує каузальний енкодер із рекурентним декодером, а розподіл наступного токена зчитується з кінцевого виходу декодера.
Еталонна конфігурація має 48 шарів енкодера та 48 шарів декодера зі спільними вагами — загалом 96 логічних блоків на токен. Кожен шар декодера зберігає не більш як W – 1 історичних записів. У звіті описано паралельну обробку в енкодері та пакетування незалежних послідовностей, але точний паралельний скан для нелінійного декодера не передбачається, а прискорення попереднього опрацювання не заявляється.
Пропозиція також визначає процедури навчання та відтворення під час reinforcement learning. Під час відтворення пам’ять енкодера, вихід декодера й усі кеші уваги повторно будуються з поточними параметрами, тоді як записані ймовірності дій під час початкової вибірки зберігаються. Звіт описує архітектуру та правила виконання, але не містить вимірювань ефективності, якості міркування чи масштабування.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.