Nunchux AI представила низкорозрядне ядро уваги для відеомоделей
Nunchux AI представила VC-Attention — низькорозрядне ядро уваги без додаткового навчання для відео Diffusion Transformers. Метод зменшує помилки квантування значень і витрати на повільний етап softmax у FP32. Це доповнює прискорення матричних операцій QK і PV за допомогою низькорозрядних Tensor Cores. За даними команди, увага займає понад 64% часу генерації 5-секундного кліпу Wan2.2-14B у форматі 720p на RTX 5090.
VC-Attention поєднує V-Smooth і ExpCast-FP8. V-Smooth онлайн групує токени значень, віднімає середнє з блоків по 128 токенів і квантує лише залишок: у E4M3 для 8 бітів або NVFP4 для 4 бітів. ExpCast-FP8 замінює обчислення експоненти у FP32 та подальше перетворення однією об’єднаною операцією multiply-add для 8-бітного ядра. Для 204.8K рядків уваги Wan2.2 середня виміряна помилка total variation становила 1,6%.
У тестах чотирьох відеомоделей DiT із відкритими вагами прискорення уваги досягло 1,59× на B200 при 8 бітах і 3,58× на RTX 5090 при 4 бітах. Наскрізне прискорення становило відповідно 1,19× і 1,70×. При 8 бітах V-Smooth підвищив PSNR проти SageAttention2 для Wan2.2 та HunyuanVideo-1.5. Публічного релізу ядра поки немає: Nunchux використовує власне розширення у своєму стеку.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.