Новый метод снижает затраты на дистилляцию языковых моделей
Исследователи Multiverse Computing представили метод дистилляции знаний, призванный сократить требования к памяти и вычислениям при сжатии больших языковых моделей. Вместо повторного запуска модели-учителя на каждом шаге система один раз вычисляет 100 наиболее вероятных токенов для каждой позиции и сохраняет эти данные для дальнейшего обучения.