HOPE скорочує експертів MoE, зберігаючи їхню взаємодію
Метод HOPE має зменшити потребу в пам’яті мовних моделей із mixture-of-experts (MoE), вилучаючи менш корисних експертів і враховуючи зв’язки між ними. MoE-моделі можуть містити сотні експертів, але для кожного токена активується лише невелика частина. Наприклад, у Qwen3.5-122B кожен із 48 MoE-шарів містить 256 експертів, а для окремого токена використовуються вісім. Експертні MLP-модулі займають близько 95% із приблизно 250 ГБ пам’яті, потрібної для параметрів моделі.
На відміну від методів першого порядку, які оцінюють експертів незалежно, HOPE використовує матрицю попарних взаємодій між експертами, активованими разом, із вагами маршрутизатора. Після одного проходу по калібрувальному набору метод визначає експертів для вилучення за допомогою квадратичної оптимізації.
Під час тестування на Qwen3.5-122B, Qwen3.5-35B і GLM-4.5-Air HOPE порівнювали з чотирма методами першого порядку за рівня скорочення від 10% до 50%. У всіх перевірених умовах HOPE отримав найкращий середній ранг. За скорочення на 50% його середній ранг становив 1,58 проти 2,42 у REAP. На SWE-Bench Pro модель Qwen3.5-35B-A3B після застосування HOPE набрала 42,3 бала, тоді як нескорочена модель отримала 41,8, а варіант із REAP — 36,2.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.