Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← До новин

Новий метод здешевлює дистиляцію великих мовних моделей

Дослідники Multiverse Computing представили метод дистиляції знань, покликаний зменшити потребу у пам’яті та обчисленнях під час стискання великих мовних моделей. Замість запуску моделі-вчителя на кожному кроці система один раз обчислює 100 найімовірніших токенів для кожної позиції та зберігає ці дані для подальшого навчання.

Запропонована об’єднана блочна функція втрат на основі дивергенції Кульбака—Лейблера обробляє послідовність частинами, не створюючи повної матриці розміру «словник на довжину послідовності». Повна матриця логітів моделі-учня також не зберігається: під час зворотного проходу окремі частини обчислюються повторно. За оцінкою авторів, це стримує зростання пікового використання пам’яті зі збільшенням контексту.

У тесті на одній H200 із Llama 3.1 8B Instruct як учителем і моделлю Llama на 3.2B параметрів як учнем за контексту 8K новий варіант використав 58.3 GB пам’яті проти 102.8 GB для онлайн-дистиляції. В експерименті з GPT-OSS 20B та контекстом 32K конфігурацію скоротили з чотирьох GPU-вузлів до одного, а час кроку — з 57.0 до 12.23 секунди. За даними команди, компактна модель зберегла більшу частину точності вчителя на BoolQ і HellaSwag та відставала приблизно на дев’ять пунктів у MMLU. Реалізацію оприлюднено з відкритим кодом.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини