Sakhanda Wire
NVDA $150.96 -2.89% MSFT $508.29 +0.40% GOOGL $282.44 +0.80% META $616.38 -0.40% AMZN $267.74 +3.82%
← Към новините

DSpark ускорява извеждането на моделите LFM2.5

Liquid AI публикува DSpark драфт чекпойнти за три модела от семейството LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Методът добавя спекулативно декодиране, при което малки драфт модели предлагат токени, а целевият модел ги проверява. Всеки драфт модел има приблизително 300M параметра и изисква само ограничено увеличение на паметта.

При тестове със SGLang на един H100 80 GB средното ускорение е 2.67x за LFM2.5-2.6B, 2.10x за LFM2.5-1.2B-Instruct и 2.54x за LFM2.5-8B-A1B. Най-високият измерен резултат за GPU е 3.18x. С llama.cpp и Metal на MacBook Pro с M4 Max средното подобрение е съответно 2.27x, 2.54x и 1.18x. Liquid AI съобщава и за средно 57% по-ниска латентност при извикване на функции за LFM2.5-2.6B.

Публикацията включва поддръжка за llama.cpp и SGLang, а чекпойнтите са налични във формати Safetensors и GGUF. При жадно декодиране отхвърлените драфт токени се заменят с резултата на целевия модел, така че изходната последователност и точността на бенчмарковете се запазват.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини