Sakhanda Wire
NVDA $154.51 -1.04% MSFT $506.49 -2.22% GOOGL $281.27 -0.86% META $621.51 -0.78% AMZN $256.90 -0.33%
← К новостям

HOPE сокращает экспертов MoE, сохраняя их рабочие связи

Метод HOPE предназначен для уменьшения требований к памяти языковых моделей с mixture-of-experts (MoE): он удаляет менее полезных экспертов, учитывая взаимодействия между ними. В MoE-моделях могут быть сотни экспертов, однако для каждого токена активируется лишь небольшая часть. Например, в Qwen3.5-122B в каждом из 48 MoE-слоёв находятся 256 экспертов, а для отдельного токена используются восемь. Экспертные MLP-модули занимают около 95% примерно 250 ГБ памяти, необходимой для параметров модели.

В отличие от методов первого порядка, которые оценивают экспертов независимо, HOPE строит матрицу попарных взаимодействий, взвешенных маршрутизатором, между экспертами, активированными вместе. После одного прохода по калибровочному набору метод выбирает набор для удаления, решая задачу квадратичной оптимизации.

В испытаниях на Qwen3.5-122B, Qwen3.5-35B и GLM-4.5-Air HOPE сравнивали с четырьмя методами первого порядка при сокращении от 10% до 50%. Во всех рассмотренных условиях HOPE получил лучший средний ранг. При сокращении на 50% его средний ранг составил 1,58 против 2,42 у REAP. На SWE-Bench Pro модель Qwen3.5-35B-A3B после применения HOPE набрала 42,3 балла, тогда как исходная модель получила 41,8, а вариант с REAP — 36,2.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости