DSpark ускорява извеждането на моделите LFM2.5
Liquid AI публикува DSpark драфт чекпойнти за три модела от семейството LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Методът добавя спекулативно декодиране, при което малки драфт модели предлагат токени, а целевият модел ги проверява. Всеки драфт модел има приблизително 300M параметра и изисква само ограничено увеличение на паметта.
При тестове със SGLang на един H100 80 GB средното ускорение е 2.67x за LFM2.5-2.6B, 2.10x за LFM2.5-1.2B-Instruct и 2.54x за LFM2.5-8B-A1B. Най-високият измерен резултат за GPU е 3.18x. С llama.cpp и Metal на MacBook Pro с M4 Max средното подобрение е съответно 2.27x, 2.54x и 1.18x. Liquid AI съобщава и за средно 57% по-ниска латентност при извикване на функции за LFM2.5-2.6B.
Публикацията включва поддръжка за llama.cpp и SGLang, а чекпойнтите са налични във формати Safetensors и GGUF. При жадно декодиране отхвърлените драфт токени се заменят с резултата на целевия модел, така че изходната последователност и точността на бенчмарковете се запазват.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.