Sakhanda Wire
NVDA $150.96 -2.89% MSFT $508.29 +0.40% GOOGL $282.44 +0.80% META $616.38 -0.40% AMZN $267.74 +3.82%
← До новин

DSpark прискорює інференс моделей сімейства LFM2.5

Liquid AI випустила чернеткові чекпойнти DSpark для трьох моделей сімейства LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B і LFM2.5-8B-A1B. Метод додає спекулятивне декодування: компактна чернеткова модель пропонує токени, а цільова модель їх перевіряє. Кожна чернеткова модель має близько 300M параметрів, тому збільшення використання пам’яті є невеликим.

У тестах із SGLang на одному H100 80 GB середнє прискорення становило 2.67x для LFM2.5-2.6B, 2.10x для LFM2.5-1.2B-Instruct і 2.54x для LFM2.5-8B-A1B. Найвищий результат на GPU сягнув 3.18x. Під час використання llama.cpp і Metal на MacBook Pro з M4 Max середній приріст становив відповідно 2.27x, 2.54x і 1.18x. Для LFM2.5-2.6B Liquid AI також повідомила про середнє скорочення затримки виклику функцій на 57%.

Реліз підтримує llama.cpp і SGLang, а чекпойнти доступні у форматах Safetensors і GGUF. За жадібного декодування відхилені чернеткові токени замінюються токенами цільової моделі. Завдяки цьому підсумкова послідовність збігається з базовою, а точність бенчмарків не змінюється.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини