FlashMap прискорює декодування Qwen3 блоками з 16 токенів
Дослідники з Polymathic AI, Princeton University, USC ISI, NYU та Flatiron Institute представили FlashMap — модуль для спекулятивного декодування великих мовних моделей. Він використовує безперервну flow map, щоб за один прохід запропонувати блок із 16 токенів замість послідовної генерації. Цільова модель паралельно перевіряє весь блок і залишає найдовший збіжний префікс, тому кінцевий результат точно відповідає результату цільової моделі.