Sakhanda Wire
NVDA $150.96 -2.89% MSFT $508.29 +0.40% GOOGL $282.44 +0.80% META $616.38 -0.40% AMZN $267.74 +3.82%
← К новостям

DSpark ускоряет инференс моделей семейства LFM2.5

Liquid AI выпустила черновые чекпойнты DSpark для трех моделей семейства LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Метод добавляет спекулятивное декодирование: компактная черновая модель предлагает токены, а целевая модель проверяет их. Размер каждой черновой модели составляет около 300M параметров, поэтому прирост потребления памяти остается небольшим.

В тестах с SGLang на одном H100 80 GB среднее ускорение составило 2.67x для LFM2.5-2.6B, 2.10x для LFM2.5-1.2B-Instruct и 2.54x для LFM2.5-8B-A1B. Максимальный результат на GPU достиг 3.18x. При использовании llama.cpp и Metal на MacBook Pro с M4 Max средний прирост составил соответственно 2.27x, 2.54x и 1.18x. Для LFM2.5-2.6B Liquid AI также зафиксировала среднее сокращение задержки при вызове функций на 57%.

Выпуск поддерживает llama.cpp и SGLang; чекпойнты доступны в форматах Safetensors и GGUF. При жадном декодировании отклоненные черновые токены заменяются токенами целевой модели. Поэтому итоговая последовательность совпадает с базовым результатом, а точность бенчмарков не меняется.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости