Нов метод намалява разходите за дистилация на езикови модели
Изследователи от Multiverse Computing представиха метод за дистилация на знания, който намалява необходимата памет и изчислителни ресурси при компресиране на големи езикови модели. Вместо учителят да се изпълнява при всяка стъпка, системата изчислява веднъж 100-те най-вероятни токена за всяка позиция и съхранява резултатите за повторна употреба.