Стратегии маршрутизации MoE влияют на качество и стоимость обслуживания
В моделях Mixture-of-Experts маршрутизатор для каждого токена выбирает небольшую группу экспертных сетей, вместо запуска всех экспертов. От этого зависят качество, равномерность нагрузки и сетевые расходы при распределении вычислений между несколькими GPU. Например, Mixtral 8x7B предоставляет токену доступ к 47B параметров, но активирует 13B.