Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← Към новините

Liquid AI представи модел за ускорено декодиране на LFM2.5-VL-3B

Liquid AI представи LFM2.5-VL-3B-DSpark — експериментален малък модел, предназначен да ускорява генерирането от модела за виждане и език LFM2.5-VL-3B. Драфтърът има 279.5M параметра и предлага няколко токена предварително, след което по-големият модел ги проверява на един проход. Според Liquid AI ускорението при декодиране достига 3.13x на Apple M5 Max и 2.66x на NVIDIA H100.

Теглата са публикувани в Hugging Face във формати Safetensors и GGUF, а поддръжка има в SGLang, MLX-VLM и llama.cpp. Изпитванията обхващат шест вида задачи за модели за виждане и език и са проведени с batch size 1, температура 0 и 16-битови тегла за визуалния енкодер и основната мрежа. При жадно декодиране резултатът съвпада с този на базовия модел. При семплиране се запазва разпределението на целевия модел, но по-високата температура може да намали приемането на токени и пропускателната способност.

Общото ускорение е по-малко, защото кодирането на изображенията и обработката на входа не се ускоряват. Драфтърът увеличава броя на параметрите при разгръщане с 8.9%. Лицензът LFM Open License v1.0 разрешава безплатна търговска употреба само на компании с годишни приходи под $10M. Ускорение на квантизирани модели не е включено.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини