Liquid AI выпустила модель ускоренного декодирования для LFM2.5-VL-3B
Liquid AI представила LFM2.5-VL-3B-DSpark — экспериментальную модель-черновик для ускорения генерации в мультимодальной модели LFM2.5-VL-3B. Черновик содержит 279.5M параметров, заранее предлагает несколько токенов, а крупная модель проверяет их одним проходом. По данным Liquid AI, ускорение декодирования достигает 3.13x на Apple M5 Max и 2.66x на NVIDIA H100.
Веса опубликованы на Hugging Face в форматах Safetensors и GGUF; поддержка доступна в SGLang, MLX-VLM и llama.cpp. Тестирование охватило шесть типов задач для моделей, работающих с изображениями и текстом, при batch size 1, температуре 0 и 16-битных весах визуального энкодера и основной модели. При жадном декодировании результат идентичен базовой модели. При использовании сэмплирования распределение ответов сохраняется, однако повышение температуры может снизить долю принятых токенов и пропускную способность.
Полное ускорение меньше, поскольку кодирование изображения и обработка входных данных не ускоряются. Черновик увеличивает число параметров развернутой системы на 8.9%. Лицензия LFM Open License v1.0 допускает бесплатное коммерческое использование только компаниями с годовой выручкой менее $10M. Ускорение квантизированных моделей в этот выпуск не входит.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.