Стратегії маршрутизації MoE визначають якість і вартість обслуговування

У моделях Mixture-of-Experts маршрутизатор для кожного токена обирає невелику групу експертних мереж замість запуску всіх експертів. Від цього залежать якість, рівномірність навантаження та мережеві витрати під час розподілу обчислень між кількома GPU. Наприклад, Mixtral 8x7B надає токену доступ до 47B параметрів, але активує 13B.

Найпоширеніший підхід — softmax top-k: Mixtral обирає 2 із 8 експертів, gpt-oss-120b — 4 із 128, а Qwen3-235B-A22B — 8 із 128. Також використовуються top-1 маршрутизація з обмеженням місткості, постійно активні спільні експерти разом із маршрутизованими та обмеження вибору певними обчислювальними вузлами. DeepSeek-V3 має одного спільного і 256 маршрутизованих експертів, активуючи вісім.

Сигмоїдальне оцінювання з балансуванням через окремий bias для кожного експерта назване провідним підходом для відкритих передових MoE-моделей у 2026 році. Expert choice задає кожному експерту фіксований набір токенів, але в причинних моделях може використовувати майбутні токени. В одному тесті це дало аномальне зниження втрат приблизно на 10%. DeepSeek-V4 також застосовує hash routing у перших трьох MoE-шарах.