Порівняння показало маршрутизацію 10 відкритих MoE-моделей
Перевірене за конфігураційними файлами порівняння описує, як 10 відкритих моделей mixture-of-experts (MoE) розподіляють токени між експертами. До списку входять Qwen3.6-35B-A3B із 35B загальних і 3B активних параметрів та DeepSeek-V4-Pro із 1.6T загальних і 49B активних параметрів. Кількість маршрутизованих експертів становить від 8 до 384, а top-k — від одного експерта у Llama 4 Maverick до восьми в кількох моделях.
Усі моделі використовують маршрутизацію, за якої кожен токен обирає власних експертів, але відрізняються оцінюванням, спільними експертами й балансуванням навантаження. Сім моделей мають по одному спільному експерту; у Mixtral, gpt-oss і Qwen3 його немає. DeepSeek-V3 застосовує sigmoid і балансування без додаткової функції втрат за допомогою bias. DeepSeek-V4-Pro використовує sqrtsoftplus, обирає шість експертів і застосовує hash routing у перших трьох MoE-шарах. Kimi K2 має 384 експерти й top-8; у його звіті зазначено, що за однакової валідаційної втрати вища розрідженість потребувала менше FLOPs.
gpt-oss-120b обирає чотири експерти зі 128 і завдяки вагам MXFP4 працює на одному 80 GB GPU. DeepSeek-V4-Pro та Kimi K2 потребують експертного паралелізму на кількох GPU. Конфігурації не розкривають методи gating для Llama 4 Maverick і Qwen3.6, а також балансування для Llama 4 Maverick і gpt-oss.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.