Сравнение показывает маршрутизацию 10 открытых MoE-моделей
Сравнение, проверенное по конфигурационным файлам, описывает распределение токенов между экспертами в 10 открытых моделях mixture-of-experts (MoE). В список входят Qwen3.6-35B-A3B с 35B общих и 3B активных параметров и DeepSeek-V4-Pro с 1.6T общих и 49B активных параметров. Число маршрутизируемых экспертов составляет от 8 до 384, а top-k — от одного эксперта у Llama 4 Maverick до восьми у ряда моделей.
Все модели используют маршрутизацию выбора токеном, но различаются функцией оценки, наличием общих экспертов и балансировкой нагрузки. В семи моделях есть один общий эксперт; у Mixtral, gpt-oss и Qwen3 его нет. DeepSeek-V3 применяет sigmoid и балансировку без дополнительной функции потерь с помощью bias. DeepSeek-V4-Pro использует sqrtsoftplus, выбирает шесть экспертов и задействует hash routing в первых трех MoE-слоях. Kimi K2 маршрутизирует токены к восьми из 384 экспертов; в его отчете указано, что при одинаковой валидационной ошибке большая разреженность требовала меньше FLOPs.
gpt-oss-120b выбирает четыре эксперта из 128 и благодаря весам MXFP4 помещается на одном 80 GB GPU. DeepSeek-V4-Pro и Kimi K2 требуют экспертного параллелизма на нескольких GPU. В конфигурациях не раскрыты методы gating для Llama 4 Maverick и Qwen3.6, а также балансировки для Llama 4 Maverick и gpt-oss.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.