Изследовател предлага трансформатор с преносимо състояние между токените
Принстънският изследовател Yifan Zhang предлага Recurrent Looped Transformer (RLT) — архитектура, при която декодерът пренася крайното си скрито състояние и кеша за плъзгащо се прозоречно внимание от един токен към следващия. Това се отнася както за промпта, така и за отговора, без нулиране на границата между тях. RLT съчетава каузален енкодер с рекурентен декодер, а разпределението за следващия токен се извежда от крайния изход на декодера.
Референтната конфигурация включва 48 енкодерни и 48 декодерни слоя със споделени тегла, или общо 96 логически блока за токен. Всеки слой на декодера съхранява най-много W – 1 исторически записа. Докладът посочва възможности за паралелна обработка в енкодера и пакетиране на независими последователности, но не предполага точен паралелен скан за нелинейния декодер и не заявява ускорение при предварителната обработка.
Предложението описва и процедури за обучение и възпроизвеждане при reinforcement learning. При него паметта и всички състояния се изграждат наново с текущите параметри, а записаните вероятности от реалното поведение се запазват. Техническият доклад не представя измерени резултати за ефективност, качество на разсъжденията или мащабиране.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.