DSpark прискорює інференс моделей сімейства LFM2.5
Liquid AI випустила чернеткові чекпойнти DSpark для трьох моделей сімейства LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B і LFM2.5-8B-A1B. Метод додає спекулятивне декодування: компактна чернеткова модель пропонує токени, а цільова модель їх перевіряє. Кожна чернеткова модель має близько 300M параметрів, тому збільшення використання пам’яті є невеликим.
У тестах із SGLang на одному H100 80 GB середнє прискорення становило 2.67x для LFM2.5-2.6B, 2.10x для LFM2.5-1.2B-Instruct і 2.54x для LFM2.5-8B-A1B. Найвищий результат на GPU сягнув 3.18x. Під час використання llama.cpp і Metal на MacBook Pro з M4 Max середній приріст становив відповідно 2.27x, 2.54x і 1.18x. Для LFM2.5-2.6B Liquid AI також повідомила про середнє скорочення затримки виклику функцій на 57%.
Реліз підтримує llama.cpp і SGLang, а чекпойнти доступні у форматах Safetensors і GGUF. За жадібного декодування відхилені чернеткові токени замінюються токенами цільової моделі. Завдяки цьому підсумкова послідовність збігається з базовою, а точність бенчмарків не змінюється.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.