HOPE съкращава MoE експерти, като запазва кооперативните групи
Методът HOPE цели да намали изискванията за памет на езиковите модели с mixture-of-experts (MoE), като премахва по-малко полезни експерти и едновременно отчита връзките между тях. В MoE моделите могат да има стотици експерти, но за всеки токен се активира само малка част. В Qwen3.5-122B например във всеки от 48-те MoE слоя има 256 експерта, а за отделен токен се използват осем. Експертните MLP модули заемат около 95% от приблизително 250 GB памет за параметрите на модела.
За разлика от методите от първи ред, които оценяват експертите поотделно, HOPE използва матрица с двойните, претеглени от маршрутизатора взаимодействия между едновременно активираните експерти. След един калибрационен проход върху набор от данни методът избира експертите за премахване чрез квадратична оптимизация.
Тестовете върху Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air сравняват HOPE с четири метода от първи ред при съкращаване от 10% до 50%. HOPE постига най-доброто средно класиране в разгледаните условия. При 50% съкращаване средният му ранг е 1,58 спрямо 2,42 за REAP. На SWE-Bench Pro Qwen3.5-35B-A3B достига 42,3 след съкращаване с HOPE, при 41,8 за несъкратения модел и 36,2 за REAP.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.