Стратегиите за маршрутизиране в MoE влияят върху качеството и разходите
Моделите Mixture-of-Experts използват маршрутизатор за всеки токен, който избира малък набор експертни мрежи, вместо да активира всички. Този избор влияе върху качеството, равномерното разпределение на натоварването и разходите за комуникация при работа на няколко графични процесора. Например Mixtral 8x7B има достъп до 47B параметъра за токен, но активира 13B.