Стратегиите за маршрутизиране в MoE влияят върху качеството и разходите

Моделите Mixture-of-Experts използват маршрутизатор за всеки токен, който избира малък набор експертни мрежи, вместо да активира всички. Този избор влияе върху качеството, равномерното разпределение на натоварването и разходите за комуникация при работа на няколко графични процесора. Например Mixtral 8x7B има достъп до 47B параметъра за токен, но активира 13B.

Най-разпространеният подход е softmax top-k: Mixtral избира 2 от 8 експерта, gpt-oss-120b — 4 от 128, а Qwen3-235B-A22B — 8 от 128. Други варианти са top-1 маршрутизиране с ограничение на капацитета, постоянно активни споделени експерти заедно с маршрутизирани експерти и избор в ограничен брой изчислителни възли. DeepSeek-V3 използва един споделен и 256 маршрутизирани експерта, като активира осем.

Сигмоидното оценяване с балансиране чрез индивидуален bias за всеки експерт е посочено като водещ подход при отворените frontier модели през 2026 г. Expert choice осигурява фиксиран брой токени за експерт, но при причинни модели може да използва информация от бъдещи токени. В един тест е отчетен необичаен спад на загубата от около 10%. DeepSeek-V4 използва и hash routing в първите си три MoE слоя.