Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

Новый метод снижает затраты на дистилляцию языковых моделей

Исследователи Multiverse Computing представили метод дистилляции знаний, призванный сократить требования к памяти и вычислениям при сжатии больших языковых моделей. Вместо повторного запуска модели-учителя на каждом шаге система один раз вычисляет 100 наиболее вероятных токенов для каждой позиции и сохраняет эти данные для дальнейшего обучения.

Предложенная объединённая блочная функция потерь на основе дивергенции Кульбака—Лейблера обрабатывает последовательность частями и не создаёт полную матрицу размером «словарь на длину последовательности». Полная матрица логитов модели-ученика также не хранится: при обратном проходе отдельные части вычисляются заново. По оценке авторов, это замедляет рост пикового потребления памяти при увеличении контекста.

В тесте на одной H200 с Llama 3.1 8B Instruct в роли учителя и моделью Llama на 3.2B параметров в роли ученика при контексте 8K новый вариант потребил 58.3 GB памяти против 102.8 GB у онлайн-дистилляции. В эксперименте с GPT-OSS 20B и контекстом 32K конфигурацию удалось сократить с четырёх GPU-узлов до одного, а время шага — с 57.0 до 12.23 секунды. По данным команды, компактная модель сохранила большую часть точности учителя в BoolQ и HellaSwag и отставала примерно на девять пунктов в MMLU. Реализация опубликована с открытым исходным кодом.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости