LFM2.5-VL-DSpark ускоряет обработку изображений и текста
Liquid AI выпустила экспериментальную модель-драфтер DSpark для визуально-языковой модели LFM2.5-VL-3B. Она применяет спекулятивное декодирование: компактная модель заранее предлагает блоки токенов, а целевая модель проверяет эти предложения. По данным Liquid AI, такой подход не меняет качество результатов и добавляет 280 миллионов параметров — 8,9% к размеру 3B-модели.
Драфтер построен на четырех слоях, использующих только механизм внимания; рекомендуемый размер блока составляет восемь или девять токенов в зависимости от устройства. Оценка по бенчмарку MMSpec включала шесть задач: визуальные вопросы, вопросы по тексту на изображениях, создание подписей, анализ диаграмм, сложные рассуждения и многоходовые диалоги. При запуске MLX на M5 Max декодирование ускорилось в 2,30–3,13 раза, а задержка полного цикла уменьшилась в 1,56–2,62 раза. На H100 ускорение декодирования достигло 2,66 раза, а сквозное ускорение — 2,27 раза.
С первого дня модель поддерживается в llama.cpp, MLX-VLM и SGLang. Спекулятивное декодирование не ускоряет обработку изображения и входного контекста, поэтому эти этапы ограничивают общий выигрыш. Модель доступна в форматах Safetensors и GGUF.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.