Три оптимизации ускорили Ling-3.0-flash на DGX Spark
NVIDIA проверила три объединённые техники для инференса моделей mixture-of-experts на одном DGX Spark: ядра Humming MXFP4 для MoE, FP8-версию языковой головы и встроенное спекулятивное декодирование NEXTN. В тесте использовалась Ling-3.0-flash-fp4 от Ant Group inclusionAI — модель со 124B параметров, из которых для каждого токена активны 5.1B. Тест проводился при размере батча один.