Три оптимизации ускоряват Ling-3.0-flash на DGX Spark
NVIDIA тества три комбинирани техники за инференс на модели с архитектура mixture-of-experts върху един DGX Spark: ядра Humming MXFP4 за MoE, FP8 версия на езиковата глава и вградено спекулативно декодиране NEXTN. Тестовият модел беше Ling-3.0-flash-fp4 на Ant Group inclusionAI — модел със 124B параметри, от които 5.1B се активират за всеки токен. Изпълнението беше с размер на партидата едно.