Новий метод здешевлює дистиляцію великих мовних моделей
Дослідники Multiverse Computing представили метод дистиляції знань, покликаний зменшити потребу у пам’яті та обчисленнях під час стискання великих мовних моделей. Замість запуску моделі-вчителя на кожному кроці система один раз обчислює 100 найімовірніших токенів для кожної позиції та зберігає ці дані для подальшого навчання.