Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← До новин

Порівняння показало маршрутизацію 10 відкритих MoE-моделей

Перевірене за конфігураційними файлами порівняння описує, як 10 відкритих моделей mixture-of-experts (MoE) розподіляють токени між експертами. До списку входять Qwen3.6-35B-A3B із 35B загальних і 3B активних параметрів та DeepSeek-V4-Pro із 1.6T загальних і 49B активних параметрів. Кількість маршрутизованих експертів становить від 8 до 384, а top-k — від одного експерта у Llama 4 Maverick до восьми в кількох моделях.

Усі моделі використовують маршрутизацію, за якої кожен токен обирає власних експертів, але відрізняються оцінюванням, спільними експертами й балансуванням навантаження. Сім моделей мають по одному спільному експерту; у Mixtral, gpt-oss і Qwen3 його немає. DeepSeek-V3 застосовує sigmoid і балансування без додаткової функції втрат за допомогою bias. DeepSeek-V4-Pro використовує sqrtsoftplus, обирає шість експертів і застосовує hash routing у перших трьох MoE-шарах. Kimi K2 має 384 експерти й top-8; у його звіті зазначено, що за однакової валідаційної втрати вища розрідженість потребувала менше FLOPs.

gpt-oss-120b обирає чотири експерти зі 128 і завдяки вагам MXFP4 працює на одному 80 GB GPU. DeepSeek-V4-Pro та Kimi K2 потребують експертного паралелізму на кількох GPU. Конфігурації не розкривають методи gating для Llama 4 Maverick і Qwen3.6, а також балансування для Llama 4 Maverick і gpt-oss.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини