Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

LFM2.5-VL-DSpark прискорює роботу зображень і тексту

Liquid AI випустила експериментальну модель-драфтер DSpark для візуально-мовної моделі LFM2.5-VL-3B. Вона використовує спекулятивне декодування: менша модель заздалегідь пропонує блоки токенів, а цільова модель їх перевіряє. За даними Liquid AI, підхід не змінює якість результатів і додає 280 мільйонів параметрів, тобто 8,9% до розміру моделі 3B.

Драфтер має чотири шари, побудовані лише на механізмі уваги. Рекомендований розмір блока залежить від обладнання й становить вісім або дев’ять токенів. Тестування за бенчмарком MMSpec охопило шість завдань із зображеннями: візуальні запитання, запитання за текстом на зображеннях, створення описів, аналіз діаграм, складне міркування та багатокрокові діалоги. Під час запуску MLX на M5 Max декодування пришвидшилося у 2,30–3,13 раза, а повна затримка скоротилася у 1,56–2,62 раза. На H100 прискорення декодування сягнуло 2,66 раза, а наскрізне — 2,27 раза.

Від початку доступна підтримка llama.cpp, MLX-VLM і SGLang. Спекулятивне декодування не прискорює кодування зображень і обробку вхідного контексту, тому ці етапи обмежують загальний результат. Модель доступна у форматах Safetensors і GGUF.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини