Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← К новостям

Физический подход улучшил глубокое удаление блоков из LLM

В исследовании выбор блоков для удаления из трансформерной модели представлен как задача ограниченной бинарной оптимизации. Для каждого блока вводится бинарная переменная: сохранить его или удалить. Разложение функции потерь до второго порядка формирует матрицу Гессе. Ее диагональ описывает самостоятельную важность блоков, а внедиагональные элементы учитывают взаимное влияние решений об удалении.

Энергетическая функция позволяет быстро оценивать большое число конфигураций без запуска модели и без отдельного подсчета каждого бенчмарка. Матрицу Гессе вычисляют один раз по прямым и обратным проходам на небольшом калибровочном наборе, после чего ее можно применять для разных целей сжатия. Небольшие пространства решений перебираются полностью, а более крупные обрабатываются классическими, квантовыми и квантово-инспирированными алгоритмами, включая tabu search.

На Llama-3.1-8B-Instruct, Qwen3-14B и Llama-3.3-70B-Instruct метод оказался не хуже или лучше существующих способов удаления блоков, причем преимущество росло при более сильном сжатии. Без дообучения удаление 40 из 80 блоков Llama-3.3-70B-Instruct дало 76.9 балла на MMLU против 54.0 у block influence. Метод также превзошел этот базовый подход в отдельных тестах гибридной NVIDIA-Nemotron-3-Nano-30B-A3B-FP8. Авторы отмечают, что лучшая конфигурация может соответствовать низкоэнергетическому возбужденному состоянию, а не состоянию с минимальной энергией.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости