Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

Сравнение показва как 10 отворени MoE модела маршрутизират токени

Проверено чрез конфигурационните файлове сравнение разглежда как 10 отворени модела с архитектура mixture-of-experts (MoE) насочват токените към експерти. Моделите варират от Qwen3.6-35B-A3B с общо 35B и активни 3B параметри до DeepSeek-V4-Pro с 1.6T общо и 49B активни параметри. Броят на маршрутизираните експерти е от 8 до 384, а top-k изборът — от един експерт при Llama 4 Maverick до осем при няколко модела.

Всички използват маршрутизация, при която всеки токен избира свои експерти, но се различават по оценяването, споделените експерти и балансирането. Седем модела имат по един споделен експерт; Mixtral, gpt-oss и Qwen3 нямат такъв. DeepSeek-V3 използва sigmoid и балансиране без допълнителна загуба чрез bias, а DeepSeek-V4-Pro — sqrtsoftplus, шест избрани експерта и hash routing в първите си три MoE слоя. Kimi K2 използва 384 експерта и top-8; докладът му свързва по-високата разреденост с по-малко FLOPs при еднаква загуба върху валидацията.

Има и различия при обслужването. gpt-oss-120b избира четири от 128 експерта и с тегла MXFP4 може да работи на един 80 GB GPU. DeepSeek-V4-Pro и Kimi K2 изискват експертен паралелизъм на няколко GPU. Конфигурациите не публикуват gating детайли за Llama 4 Maverick и Qwen3.6, нито balancing детайли за Llama 4 Maverick и gpt-oss.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини