TokenGate ускорява обработката на дълъг контекст до 11,3 пъти
Изследователи от Stanford и UC Berkeley представиха TokenGate — модул, който добавя обучаемо премахване на токени към предварително обучени големи езикови модели. В долните слоеве системата обработва целия вход, а след това малък MLP оценява токените. Само тези с най-високи оценки продължават през горните слоеве. Частта с въпроса не се премахва. Екипът е комбинирал модула с LoRA (r=16) върху Qwen3-1.7B и Qwen3.5-2B.