Физический подход улучшил глубокое удаление блоков из LLM
В исследовании выбор блоков для удаления из трансформерной модели представлен как задача ограниченной бинарной оптимизации. Для каждого блока вводится бинарная переменная: сохранить его или удалить. Разложение функции потерь до второго порядка формирует матрицу Гессе. Ее диагональ описывает самостоятельную важность блоков, а внедиагональные элементы учитывают взаимное влияние решений об удалении.
Энергетическая функция позволяет быстро оценивать большое число конфигураций без запуска модели и без отдельного подсчета каждого бенчмарка. Матрицу Гессе вычисляют один раз по прямым и обратным проходам на небольшом калибровочном наборе, после чего ее можно применять для разных целей сжатия. Небольшие пространства решений перебираются полностью, а более крупные обрабатываются классическими, квантовыми и квантово-инспирированными алгоритмами, включая tabu search.
На Llama-3.1-8B-Instruct, Qwen3-14B и Llama-3.3-70B-Instruct метод оказался не хуже или лучше существующих способов удаления блоков, причем преимущество росло при более сильном сжатии. Без дообучения удаление 40 из 80 блоков Llama-3.3-70B-Instruct дало 76.9 балла на MMLU против 54.0 у block influence. Метод также превзошел этот базовый подход в отдельных тестах гибридной NVIDIA-Nemotron-3-Nano-30B-A3B-FP8. Авторы отмечают, что лучшая конфигурация может соответствовать низкоэнергетическому возбужденному состоянию, а не состоянию с минимальной энергией.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.