Sakhanda Wire
NVDA $153.63 -1.61% MSFT $506.84 -2.15% GOOGL $280.27 -1.22% META $619.77 -1.06% AMZN $256.65 -0.43%
← К новостям

Исследователь предложил трансформер с переносом состояния между токенами

Исследователь из Принстона Yifan Zhang предложил Recurrent Looped Transformer (RLT) — архитектуру, в которой декодер переносит свое конечное скрытое состояние и кэш послойного внимания со скользящим окном от одного токена к следующему. Перенос продолжается для промпта и ответа, без сброса на границе между ними. RLT объединяет каузальный энкодер с рекуррентным декодером, а распределение следующего токена считывается с конечного выхода декодера.

В эталонной конфигурации используются 48 слоев энкодера и 48 слоев декодера с общими весами — всего 96 логических блоков на токен. Каждый слой декодера хранит не более W – 1 исторических записей. В отчете описаны возможности параллельной обработки в энкодере и пакетной обработки независимых последовательностей, однако для нелинейного декодера точный параллельный скан не предполагается, а ускорение предварительной обработки не заявляется.

Предложение также задает процедуры обучения и воспроизведения при reinforcement learning. Во время воспроизведения память энкодера, выход декодера и все кэши внимания заново восстанавливаются с текущими параметрами; записанные вероятности действий при исходной выборке сохраняются. Отчет описывает архитектуру и правила выполнения, но не содержит измерений эффективности, качества рассуждений или масштабирования.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости