Сравнение показва как 10 отворени MoE модела маршрутизират токени
Проверено чрез конфигурационните файлове сравнение разглежда как 10 отворени модела с архитектура mixture-of-experts (MoE) насочват токените към експерти. Моделите варират от Qwen3.6-35B-A3B с общо 35B и активни 3B параметри до DeepSeek-V4-Pro с 1.6T общо и 49B активни параметри. Броят на маршрутизираните експерти е от 8 до 384, а top-k изборът — от един експерт при Llama 4 Maverick до осем при няколко модела.
Всички използват маршрутизация, при която всеки токен избира свои експерти, но се различават по оценяването, споделените експерти и балансирането. Седем модела имат по един споделен експерт; Mixtral, gpt-oss и Qwen3 нямат такъв. DeepSeek-V3 използва sigmoid и балансиране без допълнителна загуба чрез bias, а DeepSeek-V4-Pro — sqrtsoftplus, шест избрани експерта и hash routing в първите си три MoE слоя. Kimi K2 използва 384 експерта и top-8; докладът му свързва по-високата разреденост с по-малко FLOPs при еднаква загуба върху валидацията.
Има и различия при обслужването. gpt-oss-120b избира четири от 128 експерта и с тегла MXFP4 може да работи на един 80 GB GPU. DeepSeek-V4-Pro и Kimi K2 изискват експертен паралелизъм на няколко GPU. Конфигурациите не публикуват gating детайли за Llama 4 Maverick и Qwen3.6, нито balancing детайли за Llama 4 Maverick и gpt-oss.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.