FlashMap ускорява декодирането на Qwen3 с блокове от 16 токена
Изследователи от Polymathic AI, Princeton University, USC ISI, NYU и Flatiron Institute представиха FlashMap — модул за спекулативно декодиране на големи езикови модели. Той използва непрекъсната flow map архитектура, за да предложи блок от 16 токена с един проход, вместо да ги генерира последователно. Целевият модел проверява блока паралелно и запазва най-дългия съвпадащ префикс, така че крайният резултат остава идентичен с този на целевия модел.