FlashMap ускоряет декодирование Qwen3 блоками из 16 токенов
Исследователи из Polymathic AI, Princeton University, USC ISI, NYU и Flatiron Institute представили FlashMap — модуль для спекулятивного декодирования больших языковых моделей. Он применяет непрерывную flow map, чтобы за один проход предложить блок из 16 токенов, а не генерировать их последовательно. Целевая модель параллельно проверяет весь блок и сохраняет самый длинный совпадающий префикс, поэтому итоговый вывод не отличается от результата самой целевой модели.