Zyphra пусна FP8 ядра за внимание за AMD MI355X

Zyphra представи ZYFA — библиотека с отворен код за ядра за prefill внимание във FP8 и BF16 за графични процесори AMD Instinct MI355X. Проектът е публикуван под Apache 2.0 и е предназначен за причинно-следствено forward внимание при дълъг контекст. Поддържат се FP8 e4m3, BF16, размерност на главата 128 и MLA форми 192/128. ZYFA работи с MI355X, ROCm 7.2.3 и PyTorch 2.12 и предлага съвместим с flash_attn_func интерфейс.

Според измерванията на Zyphra FP8 вариантите са между 1,16 и 1,76 пъти по-бързи от AITER, стандартната библиотека от ядра на AMD, при реални активации на модели. BF16 производителността е близка до тази на AITER — 1,01-1,02 пъти. При 32K токена ядрото с размерност на главата 128 достига 2672 TFLOP/s, или 53% от пиковата стойност по спецификация за FP8, спрямо 1944 TFLOP/s за AITER.

При размерност 128 отчетената FP8 грешка е с 62-78% по-ниска от тази на AITER. Реализацията заменя експонентата в softmax с приближение от едно умножение и събиране, използва двувълново планиране и мащабиране на блокове. Ускорението зависи от натоварването: при активации от Mistral-7B е 1,16 пъти. ZYFA поддържа само prefill и е ограничена до MI355X.