Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← До новин

Фізичний підхід покращив глибоке видалення блоків із LLM

У дослідженні вибір блоків для видалення з трансформерної моделі подано як задачу обмеженої бінарної оптимізації. Кожному блоку відповідає бінарна змінна, що визначає його збереження або видалення. Розклад функції втрат до другого порядку формує матрицю Гессе: діагональні елементи показують індивідуальну важливість блоків, а позадіагональні враховують взаємодію між рішеннями.

Енергетична функція дає змогу оцінювати велику кількість конфігурацій без запуску моделі та окремого тестування кожної з них. Матрицю Гессе обчислюють один раз за допомогою прямих і зворотних проходів на невеликому калібрувальному наборі, а потім повторно використовують для різних рівнів стиснення. Менші простори рішень можна перебирати повністю, тоді як для більших застосовують класичні, квантові та квантово-натхненні алгоритми, зокрема tabu search.

На Llama-3.1-8B-Instruct, Qwen3-14B і Llama-3.3-70B-Instruct метод був не гіршим або кращим за наявні підходи до видалення блоків, причому перевага зростала за сильнішого стиснення. Без донавчання видалення 40 із 80 блоків Llama-3.3-70B-Instruct дало 76.9 бала на MMLU проти 54.0 у block influence. Метод також показав кращі результати в окремих тестах гібридної NVIDIA-Nemotron-3-Nano-30B-A3B-FP8. Автори зазначають, що найкраща конфігурація може бути низькоенергетичним збудженим станом, а не станом із мінімальною енергією.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини