LFM2.5-VL-DSpark ускорява визуално-езиковата инференция
Liquid AI представи експериментален DSpark модел за LFM2.5-VL-3B — визуално-езиков модел с 3 милиарда параметъра. Добавката използва спекулативно декодиране: по-малък модел предлага блокове от токени, а основният модел ги проверява. Според Liquid AI това запазва качеството на изхода и увеличава размера на системата с 280 милиона параметъра, или 8,9%.
Драфтърът разполага с четири слоя само с внимание, а препоръчителният размер на блока е осем или девет токена според хардуера. Изпитванията обхващат шест задачи за изображения по бенчмарка MMSpec, сред които визуални въпроси, въпроси върху текст в изображения, надписване, анализ на диаграми, сложно разсъждение и многоходови разговори. При MLX на M5 Max декодирането е било 2,30–3,13 пъти по-бързо, а общата латентност — 1,56–2,62 пъти по-ниска. На H100 ускорението при декодиране е достигнало 2,66 пъти, а цялостното — 2,27 пъти.
Поддръжка има още от началото за llama.cpp, MLX-VLM и SGLang. Методът не ускорява обработката на изображенията и входния контекст, което ограничава общия ефект. Моделът се предлага във формати Safetensors и GGUF.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.