Исследователь предложил трансформер с переносом состояния между токенами
Исследователь из Принстона Yifan Zhang предложил Recurrent Looped Transformer (RLT) — архитектуру, в которой декодер переносит свое конечное скрытое состояние и кэш послойного внимания со скользящим окном от одного токена к следующему. Перенос продолжается для промпта и ответа, без сброса на границе между ними. RLT объединяет каузальный энкодер с рекуррентным декодером, а распределение следующего токена считывается с конечного выхода декодера.
В эталонной конфигурации используются 48 слоев энкодера и 48 слоев декодера с общими весами — всего 96 логических блоков на токен. Каждый слой декодера хранит не более W – 1 исторических записей. В отчете описаны возможности параллельной обработки в энкодере и пакетной обработки независимых последовательностей, однако для нелинейного декодера точный параллельный скан не предполагается, а ускорение предварительной обработки не заявляется.
Предложение также задает процедуры обучения и воспроизведения при reinforcement learning. Во время воспроизведения память энкодера, выход декодера и все кэши внимания заново восстанавливаются с текущими параметрами; записанные вероятности действий при исходной выборке сохраняются. Отчет описывает архитектуру и правила выполнения, но не содержит измерений эффективности, качества рассуждений или масштабирования.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.