TokenGate прискорює обробку довгого контексту до 11,3 раза
Дослідники зі Stanford і UC Berkeley представили TokenGate — підключний модуль, який додає навчуване відсікання токенів до попередньо навчених великих мовних моделей. На нижніх шарах система обробляє весь вхід, а потім невелика MLP-модель оцінює токени. До верхніх шарів проходять лише токени документа з найвищими оцінками; запит із промпту не відсікається. Модуль поєднали з LoRA (r=16) і перевірили на Qwen3-1.7B та Qwen3.5-2B.