Три оптимізації прискорили Ling-3.0-flash на DGX Spark
NVIDIA перевірила три об’єднані методи для інференсу моделей mixture-of-experts на одному DGX Spark: ядра Humming MXFP4 для MoE, FP8-версію мовної голови та вбудоване спекулятивне декодування NEXTN. У тесті використали Ling-3.0-flash-fp4 від Ant Group inclusionAI — модель зі 124B параметрів, з яких для кожного токена активні 5.1B. Тестування проводили з розміром пакета один.