Стратегии маршрутизации MoE влияют на качество и стоимость обслуживания

В моделях Mixture-of-Experts маршрутизатор для каждого токена выбирает небольшую группу экспертных сетей, вместо запуска всех экспертов. От этого зависят качество, равномерность нагрузки и сетевые расходы при распределении вычислений между несколькими GPU. Например, Mixtral 8x7B предоставляет токену доступ к 47B параметров, но активирует 13B.

Наиболее распространённый вариант — softmax top-k: Mixtral выбирает 2 из 8 экспертов, gpt-oss-120b — 4 из 128, а Qwen3-235B-A22B — 8 из 128. Также применяются top-1-маршрутизация с ограничением ёмкости, постоянно работающие общие эксперты вместе с выбираемыми экспертами и ограничения по вычислительным узлам. В DeepSeek-V3 есть один общий и 256 маршрутизируемых экспертов, из которых активируются восемь.

Сигмоидное оценивание с балансировкой на основе отдельного bias для каждого эксперта называется основным подходом открытых передовых MoE-моделей в 2026 году. Expert choice задаёт каждому эксперту фиксированный набор токенов, но в причинных моделях может допускать утечку информации из будущих токенов. В одном тесте это сопровождалось аномальным снижением потерь примерно на 10%. DeepSeek-V4 использует hash routing в первых трёх MoE-слоях.