Три оптимізації прискорили Ling-3.0-flash на DGX Spark

NVIDIA перевірила три об’єднані методи для інференсу моделей mixture-of-experts на одному DGX Spark: ядра Humming MXFP4 для MoE, FP8-версію мовної голови та вбудоване спекулятивне декодування NEXTN. У тесті використали Ling-3.0-flash-fp4 від Ant Group inclusionAI — модель зі 124B параметрів, з яких для кожного токена активні 5.1B. Тестування проводили з розміром пакета один.

На 1 319 запитаннях GSM8K швидкість декодування зросла з 37.81 до 53.89 токена за секунду, або на 42.5%. Середня затримка зменшилася з 15.21 до 11.49 секунди. Точність змінилася з 96.89% до 96.82%; NVIDIA назвала цю різницю статистично невиявною. FP8-мовна голова зменшує обсяг зчитуваних ваг, а спекулятивне декодування дає змогу перевіряти кілька позицій одночасно.

У синтетичному тесті приріст становив 185.1%, але на GSM8K середня довжина прийнятої чернеткової послідовності знизилася з 3.90 до 2.68 токена. NVIDIA пояснила розбіжність більшою повторюваністю синтетичних відповідей і використанням жадібного декодування замість семплювання. Компанія також попередила, що FP8 і MTP мають спільно використовувати повний модуль мовної голови, інакше фреймворк може непомітно перейти в резервний режим і втратити прискорення.