Нов метод намалява разходите за дистилация на езикови модели
Изследователи от Multiverse Computing представиха метод за дистилация на знания, който намалява необходимата памет и изчислителни ресурси при компресиране на големи езикови модели. Вместо учителят да се изпълнява при всяка стъпка, системата изчислява веднъж 100-те най-вероятни токена за всяка позиция и съхранява резултатите за повторна употреба.
Предложеният „fused chunked“ дивергенционен разход на Kullback–Leibler обработва последователността на части, без да създава пълна матрица между речника и позициите. Методът не съхранява и пълната матрица с логити на ученическия модел, а преизчислява отделните части при обратното разпространение. Според авторите така пиковото потребление на памет нараства по-бавно при дълги контексти.
При тест с една H200, Llama 3.1 8B Instruct като учител и 3.2B Llama като ученик при контекст от 8K токена, методът използва 58.3 GB памет срещу 102.8 GB за онлайн дистилацията. При 32K-токенов експеримент с GPT-OSS 20B конфигурацията е намалена от четири GPU възела до един, а времето за стъпка спада от 57.0 до 12.23 секунди. Екипът съобщава, че полученият модел запазва по-голямата част от точността на учителя в BoolQ и HellaSwag и изостава с около девет пункта в MMLU. Реализацията е публикувана с отворен код.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.