Nunchux AI представи нискобитов kernel за видео дифузионни модели
Nunchux AI представи VC-Attention — нискобитов attention kernel без допълнително обучение, предназначен за видео Diffusion Transformers. Методът адресира грешките при квантуване на стойностите и бавния FP32 етап на softmax, които остават след ускоряването на матричните произведения QK и PV чрез нискобитови Tensor Cores. Според екипа attention заема над 64% от времето за генериране на 5-секунден 720p клип Wan2.2-14B на RTX 5090.
VC-Attention съчетава V-Smooth и ExpCast-FP8. V-Smooth групира value токени онлайн, изважда средната стойност от блокове по 128 токена и квантува само остатъка чрез E4M3 при 8 бита или NVFP4 при 4 бита. ExpCast-FP8 заменя FP32 изчисляването на експонентата и последващото преобразуване с една слята операция multiply-add за 8-битовия kernel. При 204.8K реда attention на Wan2.2 измерената средна грешка по total variation е 1.6%.
Тестовете с четири видео DiT модела отворен тип показват ускорение на attention от 1.59× на B200 при 8 бита и 3.58× на RTX 5090 при 4 бита. Крайното ускорение е съответно 1.19× и 1.70×. При 8 бита V-Smooth повишава PSNR спрямо SageAttention2 при Wan2.2 и HunyuanVideo-1.5. Публична версия на kernel-а няма; Nunchux използва собствено разширение в своя стек.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.