Sakhanda Wire
NVDA $153.73 -1.54% MSFT $506.30 -2.26% GOOGL $280.09 -1.28% META $619.28 -1.14% AMZN $256.62 -0.44%
← Към новините

Физичен подход подобрява премахването на блокове от езикови модели

В научна работа е представен метод за съкращаване на трансформър модели чрез разглеждане на избора на блокове като задача за ограничена двоична оптимизация. На всеки блок се присвоява двоична променлива, която показва дали той се запазва или премахва. Развитието на загубата до втори ред образува матрица на Хеси, чиито диагонални елементи описват самостоятелното значение на блоковете, а извъндиагоналните отразяват взаимодействията между решенията.

Получената енергийна функция позволява подреждане на множество конфигурации без изпълнение на модела и без отделно измерване на всяка конфигурация върху тестове. Матрицата се изчислява еднократно чрез прави и обратни преминавания върху малък калибрационен набор и може да се използва при различни нива на компресия. По-малките задачи могат да се проверяват с пълно изброяване, а по-големите — с класически, квантови и квантово-вдъхновени решатели, включително tabu search.

При Llama-3.1-8B-Instruct, Qwen3-14B и Llama-3.3-70B-Instruct методът е бил сравним или по-добър от съществуващите подходи, особено при силна компресия. Без дообучаване, при премахване на 40 от 80 блока на Llama-3.3-70B-Instruct, резултатът на MMLU е 76.9 срещу 54.0 за метода block influence. Подходът е дал по-добри резултати и в избрани тестове за хибридния NVIDIA-Nemotron-3-Nano-30B-A3B-FP8. Авторите посочват, че най-добрата конфигурация понякога е сред нискоенергийните възбудени състояния, а не единствено най-нискоенергийното състояние.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини