Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← Към новините

Нов метод намалява разходите за дистилация на езикови модели

Изследователи от Multiverse Computing представиха метод за дистилация на знания, който намалява необходимата памет и изчислителни ресурси при компресиране на големи езикови модели. Вместо учителят да се изпълнява при всяка стъпка, системата изчислява веднъж 100-те най-вероятни токена за всяка позиция и съхранява резултатите за повторна употреба.

Предложеният „fused chunked“ дивергенционен разход на Kullback–Leibler обработва последователността на части, без да създава пълна матрица между речника и позициите. Методът не съхранява и пълната матрица с логити на ученическия модел, а преизчислява отделните части при обратното разпространение. Според авторите така пиковото потребление на памет нараства по-бавно при дълги контексти.

При тест с една H200, Llama 3.1 8B Instruct като учител и 3.2B Llama като ученик при контекст от 8K токена, методът използва 58.3 GB памет срещу 102.8 GB за онлайн дистилацията. При 32K-токенов експеримент с GPT-OSS 20B конфигурацията е намалена от четири GPU възела до един, а времето за стъпка спада от 57.0 до 12.23 секунди. Екипът съобщава, че полученият модел запазва по-голямата част от точността на учителя в BoolQ и HellaSwag и изостава с около девет пункта в MMLU. Реализацията е публикувана с отворен код.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини