Стратегії маршрутизації MoE визначають якість і вартість обслуговування
У моделях Mixture-of-Experts маршрутизатор для кожного токена обирає невелику групу експертних мереж замість запуску всіх експертів. Від цього залежать якість, рівномірність навантаження та мережеві витрати під час розподілу обчислень між кількома GPU. Наприклад, Mixtral 8x7B надає токену доступ до 47B параметрів, але активує 13B.