Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← До новин

Liquid AI випустила модель прискореного декодування для LFM2.5-VL-3B

Liquid AI представила LFM2.5-VL-3B-DSpark — експериментальну модель-чернетку для прискорення генерації в мультимодальній моделі LFM2.5-VL-3B. Чернетка має 279.5M параметрів, заздалегідь пропонує кілька токенів, а більша модель перевіряє їх за один прохід. За даними Liquid AI, прискорення декодування сягає 3.13x на Apple M5 Max і 2.66x на NVIDIA H100.

Ваги опубліковано на Hugging Face у форматах Safetensors і GGUF; підтримка доступна в SGLang, MLX-VLM та llama.cpp. Тестування охопило шість типів завдань для моделей, що працюють із зображеннями й текстом, за batch size 1, температури 0 і 16-бітних ваг візуального енкодера та основної моделі. За жадібного декодування результат ідентичний базовій моделі. Під час семплювання розподіл відповідей зберігається, але вища температура може зменшити частку прийнятих токенів і пропускну здатність.

Повне прискорення менше, оскільки кодування зображення та обробка вхідних даних не прискорюються. Чернетка збільшує кількість параметрів розгорнутої системи на 8.9%. Ліцензія LFM Open License v1.0 дозволяє безплатне комерційне використання лише компаніям із річним доходом менше $10M. Прискорення квантизованих моделей до цього випуску не входить.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини