Три оптимизации ускоряват Ling-3.0-flash на DGX Spark

NVIDIA тества три комбинирани техники за инференс на модели с архитектура mixture-of-experts върху един DGX Spark: ядра Humming MXFP4 за MoE, FP8 версия на езиковата глава и вградено спекулативно декодиране NEXTN. Тестовият модел беше Ling-3.0-flash-fp4 на Ant Group inclusionAI — модел със 124B параметри, от които 5.1B се активират за всеки токен. Изпълнението беше с размер на партидата едно.

При 1 319-те въпроса от GSM8K пропускателната способност при декодиране нарасна от 37.81 на 53.89 токена в секунда, или с 42.5%. Средната латентност спадна от 15.21 на 11.49 секунди. Точността се промени от 96.89% на 96.82% — разлика, която NVIDIA определя като статистически неразличима. FP8 езиковата глава намалява обема на четените тегла, а спекулативното декодиране проверява няколко позиции едновременно.

При синтетичен тест увеличението достигна 185.1%, но средната дължина на приетите спекулативни токени спадна от 3.90 до 2.68 при GSM8K. NVIDIA свързва разликата с по-малко повтарящите се изходи и по-кратките отговори в реалната задача. Компанията предупреждава, че FP8 и MTP трябва да използват общ пълен модул за езиковата глава; иначе системата може незабелязано да премине към резервен режим и да загуби ускорението.