Liquid AI випустила модель прискореного декодування для LFM2.5-VL-3B
Liquid AI представила LFM2.5-VL-3B-DSpark — експериментальну модель-чернетку для прискорення генерації в мультимодальній моделі LFM2.5-VL-3B. Чернетка має 279.5M параметрів, заздалегідь пропонує кілька токенів, а більша модель перевіряє їх за один прохід. За даними Liquid AI, прискорення декодування сягає 3.13x на Apple M5 Max і 2.66x на NVIDIA H100.
Ваги опубліковано на Hugging Face у форматах Safetensors і GGUF; підтримка доступна в SGLang, MLX-VLM та llama.cpp. Тестування охопило шість типів завдань для моделей, що працюють із зображеннями й текстом, за batch size 1, температури 0 і 16-бітних ваг візуального енкодера та основної моделі. За жадібного декодування результат ідентичний базовій моделі. Під час семплювання розподіл відповідей зберігається, але вища температура може зменшити частку прийнятих токенів і пропускну здатність.
Повне прискорення менше, оскільки кодування зображення та обробка вхідних даних не прискорюються. Чернетка збільшує кількість параметрів розгорнутої системи на 8.9%. Ліцензія LFM Open License v1.0 дозволяє безплатне комерційне використання лише компаніям із річним доходом менше $10M. Прискорення квантизованих моделей до цього випуску не входить.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.