Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← Към новините

LFM2.5-VL-DSpark ускорява визуално-езиковата инференция

Liquid AI представи експериментален DSpark модел за LFM2.5-VL-3B — визуално-езиков модел с 3 милиарда параметъра. Добавката използва спекулативно декодиране: по-малък модел предлага блокове от токени, а основният модел ги проверява. Според Liquid AI това запазва качеството на изхода и увеличава размера на системата с 280 милиона параметъра, или 8,9%.

Драфтърът разполага с четири слоя само с внимание, а препоръчителният размер на блока е осем или девет токена според хардуера. Изпитванията обхващат шест задачи за изображения по бенчмарка MMSpec, сред които визуални въпроси, въпроси върху текст в изображения, надписване, анализ на диаграми, сложно разсъждение и многоходови разговори. При MLX на M5 Max декодирането е било 2,30–3,13 пъти по-бързо, а общата латентност — 1,56–2,62 пъти по-ниска. На H100 ускорението при декодиране е достигнало 2,66 пъти, а цялостното — 2,27 пъти.

Поддръжка има още от началото за llama.cpp, MLX-VLM и SGLang. Методът не ускорява обработката на изображенията и входния контекст, което ограничава общия ефект. Моделът се предлага във формати Safetensors и GGUF.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини