Liquid AI представи модел за ускорено декодиране на LFM2.5-VL-3B
Liquid AI представи LFM2.5-VL-3B-DSpark — експериментален малък модел, предназначен да ускорява генерирането от модела за виждане и език LFM2.5-VL-3B. Драфтърът има 279.5M параметра и предлага няколко токена предварително, след което по-големият модел ги проверява на един проход. Според Liquid AI ускорението при декодиране достига 3.13x на Apple M5 Max и 2.66x на NVIDIA H100.
Теглата са публикувани в Hugging Face във формати Safetensors и GGUF, а поддръжка има в SGLang, MLX-VLM и llama.cpp. Изпитванията обхващат шест вида задачи за модели за виждане и език и са проведени с batch size 1, температура 0 и 16-битови тегла за визуалния енкодер и основната мрежа. При жадно декодиране резултатът съвпада с този на базовия модел. При семплиране се запазва разпределението на целевия модел, но по-високата температура може да намали приемането на токени и пропускателната способност.
Общото ускорение е по-малко, защото кодирането на изображенията и обработката на входа не се ускоряват. Драфтърът увеличава броя на параметрите при разгръщане с 8.9%. Лицензът LFM Open License v1.0 разрешава безплатна търговска употреба само на компании с годишни приходи под $10M. Ускорение на квантизирани модели не е включено.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.