DSpark ускоряет инференс моделей семейства LFM2.5
Liquid AI выпустила черновые чекпойнты DSpark для трех моделей семейства LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Метод добавляет спекулятивное декодирование: компактная черновая модель предлагает токены, а целевая модель проверяет их. Размер каждой черновой модели составляет около 300M параметров, поэтому прирост потребления памяти остается небольшим.
В тестах с SGLang на одном H100 80 GB среднее ускорение составило 2.67x для LFM2.5-2.6B, 2.10x для LFM2.5-1.2B-Instruct и 2.54x для LFM2.5-8B-A1B. Максимальный результат на GPU достиг 3.18x. При использовании llama.cpp и Metal на MacBook Pro с M4 Max средний прирост составил соответственно 2.27x, 2.54x и 1.18x. Для LFM2.5-2.6B Liquid AI также зафиксировала среднее сокращение задержки при вызове функций на 57%.
Выпуск поддерживает llama.cpp и SGLang; чекпойнты доступны в форматах Safetensors и GGUF. При жадном декодировании отклоненные черновые токены заменяются токенами целевой модели. Поэтому итоговая последовательность совпадает с базовым результатом, а точность бенчмарков не меняется.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.