Новый метод снижает затраты на дистилляцию языковых моделей
Исследователи Multiverse Computing представили метод дистилляции знаний, призванный сократить требования к памяти и вычислениям при сжатии больших языковых моделей. Вместо повторного запуска модели-учителя на каждом шаге система один раз вычисляет 100 наиболее вероятных токенов для каждой позиции и сохраняет эти данные для дальнейшего обучения.
Предложенная объединённая блочная функция потерь на основе дивергенции Кульбака—Лейблера обрабатывает последовательность частями и не создаёт полную матрицу размером «словарь на длину последовательности». Полная матрица логитов модели-ученика также не хранится: при обратном проходе отдельные части вычисляются заново. По оценке авторов, это замедляет рост пикового потребления памяти при увеличении контекста.
В тесте на одной H200 с Llama 3.1 8B Instruct в роли учителя и моделью Llama на 3.2B параметров в роли ученика при контексте 8K новый вариант потребил 58.3 GB памяти против 102.8 GB у онлайн-дистилляции. В эксперименте с GPT-OSS 20B и контекстом 32K конфигурацию удалось сократить с четырёх GPU-узлов до одного, а время шага — с 57.0 до 12.23 секунды. По данным команды, компактная модель сохранила большую часть точности учителя в BoolQ и HellaSwag и отставала примерно на девять пунктов в MMLU. Реализация опубликована с открытым исходным кодом.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.