Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← К новостям

Liquid AI выпустила модель ускоренного декодирования для LFM2.5-VL-3B

Liquid AI представила LFM2.5-VL-3B-DSpark — экспериментальную модель-черновик для ускорения генерации в мультимодальной модели LFM2.5-VL-3B. Черновик содержит 279.5M параметров, заранее предлагает несколько токенов, а крупная модель проверяет их одним проходом. По данным Liquid AI, ускорение декодирования достигает 3.13x на Apple M5 Max и 2.66x на NVIDIA H100.

Веса опубликованы на Hugging Face в форматах Safetensors и GGUF; поддержка доступна в SGLang, MLX-VLM и llama.cpp. Тестирование охватило шесть типов задач для моделей, работающих с изображениями и текстом, при batch size 1, температуре 0 и 16-битных весах визуального энкодера и основной модели. При жадном декодировании результат идентичен базовой модели. При использовании сэмплирования распределение ответов сохраняется, однако повышение температуры может снизить долю принятых токенов и пропускную способность.

Полное ускорение меньше, поскольку кодирование изображения и обработка входных данных не ускоряются. Черновик увеличивает число параметров развернутой системы на 8.9%. Лицензия LFM Open License v1.0 допускает бесплатное коммерческое использование только компаниями с годовой выручкой менее $10M. Ускорение квантизированных моделей в этот выпуск не входит.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости