Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← К новостям

LFM2.5-VL-DSpark ускоряет обработку изображений и текста

Liquid AI выпустила экспериментальную модель-драфтер DSpark для визуально-языковой модели LFM2.5-VL-3B. Она применяет спекулятивное декодирование: компактная модель заранее предлагает блоки токенов, а целевая модель проверяет эти предложения. По данным Liquid AI, такой подход не меняет качество результатов и добавляет 280 миллионов параметров — 8,9% к размеру 3B-модели.

Драфтер построен на четырех слоях, использующих только механизм внимания; рекомендуемый размер блока составляет восемь или девять токенов в зависимости от устройства. Оценка по бенчмарку MMSpec включала шесть задач: визуальные вопросы, вопросы по тексту на изображениях, создание подписей, анализ диаграмм, сложные рассуждения и многоходовые диалоги. При запуске MLX на M5 Max декодирование ускорилось в 2,30–3,13 раза, а задержка полного цикла уменьшилась в 1,56–2,62 раза. На H100 ускорение декодирования достигло 2,66 раза, а сквозное ускорение — 2,27 раза.

С первого дня модель поддерживается в llama.cpp, MLX-VLM и SGLang. Спекулятивное декодирование не ускоряет обработку изображения и входного контекста, поэтому эти этапы ограничивают общий выигрыш. Модель доступна в форматах Safetensors и GGUF.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости