Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← Към новините

HOPE съкращава MoE експерти, като запазва кооперативните групи

Методът HOPE цели да намали изискванията за памет на езиковите модели с mixture-of-experts (MoE), като премахва по-малко полезни експерти и едновременно отчита връзките между тях. В MoE моделите могат да има стотици експерти, но за всеки токен се активира само малка част. В Qwen3.5-122B например във всеки от 48-те MoE слоя има 256 експерта, а за отделен токен се използват осем. Експертните MLP модули заемат около 95% от приблизително 250 GB памет за параметрите на модела.

За разлика от методите от първи ред, които оценяват експертите поотделно, HOPE използва матрица с двойните, претеглени от маршрутизатора взаимодействия между едновременно активираните експерти. След един калибрационен проход върху набор от данни методът избира експертите за премахване чрез квадратична оптимизация.

Тестовете върху Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air сравняват HOPE с четири метода от първи ред при съкращаване от 10% до 50%. HOPE постига най-доброто средно класиране в разгледаните условия. При 50% съкращаване средният му ранг е 1,58 спрямо 2,42 за REAP. На SWE-Bench Pro Qwen3.5-35B-A3B достига 42,3 след съкращаване с HOPE, при 41,8 за несъкратения модел и 36,2 за REAP.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини