Sakhanda Wire
NVDA $153.63 -1.61% MSFT $506.84 -2.15% GOOGL $280.27 -1.22% META $619.77 -1.06% AMZN $256.65 -0.43%
← Към новините

Изследовател предлага трансформатор с преносимо състояние между токените

Принстънският изследовател Yifan Zhang предлага Recurrent Looped Transformer (RLT) — архитектура, при която декодерът пренася крайното си скрито състояние и кеша за плъзгащо се прозоречно внимание от един токен към следващия. Това се отнася както за промпта, така и за отговора, без нулиране на границата между тях. RLT съчетава каузален енкодер с рекурентен декодер, а разпределението за следващия токен се извежда от крайния изход на декодера.

Референтната конфигурация включва 48 енкодерни и 48 декодерни слоя със споделени тегла, или общо 96 логически блока за токен. Всеки слой на декодера съхранява най-много W – 1 исторически записа. Докладът посочва възможности за паралелна обработка в енкодера и пакетиране на независими последователности, но не предполага точен паралелен скан за нелинейния декодер и не заявява ускорение при предварителната обработка.

Предложението описва и процедури за обучение и възпроизвеждане при reinforcement learning. При него паметта и всички състояния се изграждат наново с текущите параметри, а записаните вероятности от реалното поведение се запазват. Техническият доклад не представя измерени резултати за ефективност, качество на разсъжденията или мащабиране.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини