LFM2.5-VL-DSpark прискорює роботу зображень і тексту
Liquid AI випустила експериментальну модель-драфтер DSpark для візуально-мовної моделі LFM2.5-VL-3B. Вона використовує спекулятивне декодування: менша модель заздалегідь пропонує блоки токенів, а цільова модель їх перевіряє. За даними Liquid AI, підхід не змінює якість результатів і додає 280 мільйонів параметрів, тобто 8,9% до розміру моделі 3B.
Драфтер має чотири шари, побудовані лише на механізмі уваги. Рекомендований розмір блока залежить від обладнання й становить вісім або дев’ять токенів. Тестування за бенчмарком MMSpec охопило шість завдань із зображеннями: візуальні запитання, запитання за текстом на зображеннях, створення описів, аналіз діаграм, складне міркування та багатокрокові діалоги. Під час запуску MLX на M5 Max декодування пришвидшилося у 2,30–3,13 раза, а повна затримка скоротилася у 1,56–2,62 раза. На H100 прискорення декодування сягнуло 2,66 раза, а наскрізне — 2,27 раза.
Від початку доступна підтримка llama.cpp, MLX-VLM і SGLang. Спекулятивне декодування не прискорює кодування зображень і обробку вхідного контексту, тому ці етапи обмежують загальний результат. Модель доступна у форматах Safetensors і GGUF.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.