TokenGate ускоряет обработку длинного контекста до 11,3 раза
Исследователи из Stanford и UC Berkeley представили TokenGate — подключаемый модуль, добавляющий обучаемое удаление токенов к предварительно обученным большим языковым моделям. На нижних слоях система обрабатывает весь вход, после чего небольшая MLP-модель оценивает токены. В верхние слои передаются только токены с наивысшими оценками, относящиеся к документу; вопрос из промпта не удаляется. Модуль проверили вместе с LoRA (r=16) на Qwen3-1.7B и Qwen3.5-2B.