Три оптимизации ускорили Ling-3.0-flash на DGX Spark

NVIDIA проверила три объединённые техники для инференса моделей mixture-of-experts на одном DGX Spark: ядра Humming MXFP4 для MoE, FP8-версию языковой головы и встроенное спекулятивное декодирование NEXTN. В тесте использовалась Ling-3.0-flash-fp4 от Ant Group inclusionAI — модель со 124B параметров, из которых для каждого токена активны 5.1B. Тест проводился при размере батча один.

На всех 1 319 вопросах GSM8K скорость декодирования выросла с 37.81 до 53.89 токена в секунду, то есть на 42.5%. Средняя задержка сократилась с 15.21 до 11.49 секунды. Точность изменилась с 96.89% до 96.82%; NVIDIA назвала эту разницу статистически не обнаруживаемой. FP8-языковая голова уменьшает объём считываемых весов, а спекулятивное декодирование позволяет одновременно проверять несколько позиций.

В синтетическом тесте прирост составил 185.1%, однако на GSM8K средняя длина принятой черновой последовательности снизилась с 3.90 до 2.68 токена. NVIDIA объяснила разрыв большей повторяемостью синтетических ответов и использованием жадного декодирования вместо выборки. Компания также предупредила, что FP8 и MTP должны совместно использовать полный модуль языковой головы: иначе фреймворк может незаметно перейти в резервный режим и потерять ускорение.