Liquid AI представи LFM3: 6 мултимодални модела от клас 2B с отворени тегла
Liquid AI пусна LFM3, новото поколение Liquid Foundation Models. Liquid AI LFM3 е семейство от 6 модела с отворени тегла от клас 2B, изградени върху една обща базова архитектура. Семейството обхваща задачи с текст, изображения, аудио, омни-модалност и вземане на решения. Всеки модел може да бъде дообучен на един GPU. След това разработчиците могат да го внедрят на телефони, лаптопи, частни сървъри или в облака.
Накратко
- Размер: LFM3-1.7B има 1,73 млрд. параметъра и контекстен прозорец от 256K. LFM3-VL-2B има 1,92 млрд., а LFM3-Omni-2B — 2,2 млрд.
- Работи на: около 1 GB памет при 4-битова прецизност, така че е подходящ за телефони и лаптопи. Доставят се контролни точки във форматите GGUF, MLX, ONNX, FP8 и NVFP4.
- Производителност: LFM3-1.7B постига средно 49,37 точки в 29 бенчмарка, над Qwen3.5-9B с 47,24 (собствена оценка на Liquid).
- Най-добър резултат: IFEval — 96,66, и AutomationBench — 41,29 спрямо 15,10 за Qwen3.5-9B.
- Най-слаб резултат: Humanity’s Last Exam (без инструменти) — 7,17, и RULER 128K — 65,56 спрямо 87,11 за Qwen3.5-9B.
Какво представлява Liquid AI LFM3?
LFM3 е семейство мултимодални модели от Liquid AI, което включва 6 модела, произлизащи от 1 базов модел. Всички те започват от LFM3-1.7B-Base.
Изданието включва:
- LFM3-1.7B: текстов модел за локални агенти, дообучен за среди като Hermes Agent, Pi и OpenClaw.
- LFM3-VL-2B: първият визуален модел LFM с вход от видео, дискретизиран при 2 кадъра в секунда.
- LFM3-Audio-2B: вход и изход на реч на 18 езика, с извикване на инструменти.
- LFM3-Omni-2B: зрение, аудио и език в един модел, който отговаря с текст или реч.
- d1-2B и d1-Omni-2B: модели за вземане на решения, които отговарят на много въпроси с 1 проход напред.
Как работи трихибридната архитектура?
Базовата архитектура комбинира 3 оператора в 24 слоя. Има 13 контролирани кратки свертки, 5 слоя с внимание с плъзгащ се прозорец и 6 слоя с глобално внимание. Прозорецът на SWA е 256 токена. Ядрата на свертка са увеличени от 3 на 7.
Екипът на Liquid AI открива тази комбинация чрез търсене на архитектура с хардуер в цикъла. LFM2 беше оптимизиран за 1 телефон и 1 лаптоп. LFM3 беше оптимизиран за 14 комбинации от устройства и бекенд. Те включват Raspberry Pi 5 и NPU Qualcomm Hexagon.
Другите промени включват сигмоидни гейтове за всяка глава на механизма за внимание, частичен RoPE в глобалните слоеве и sandwich нормализация. Базовият модел е обучен с 22T токена. Последните 3,5T токена са били насочени към агенти по време на междинното обучение, което също е разширило контекста до 256K.
Дообучването е проведено на 4 етапа. Първо е извършено SFT с 1,75T токена, след което е приложено смесено RL. След това 6 специализирани учителски модела са дестилирани в 1 модел, последвано от агентно RL.
Как се представя LFM3-1.7B в бенчмарковете?
Liquid AI съобщава, че LFM3-1.7B превъзхожда LFM2.5-2.6B с 35% по-малко параметри. По-значими са резултатите при агентите. В WebArena-Verified той постига 38,42 спрямо 28,94 за Qwen3.5-9B. В BFCL V4 резултатът му е 71,39 спрямо 62,83.
Размерът все още е предимство при знанията и агентното програмиране. GPQA Diamond е 63,37 спрямо 80,40 за Qwen3.5-9B. SWE-bench Verified е 43,40 спрямо 51,20. Търсенето намалява разликата: Humanity’s Last Exam се повишава от 7,17 на 13,90 с инструменти.
Как се сравняват LFM3-1.7B и конкурентите му?
| Характеристика | LFM3-1.7B | MiniCPM5-2B | Qwen3.5-4B | Gemma 4 E4B |
|---|---|---|---|---|
| Параметри | 1,73B | 2,52B | 4B LM (5B в Hub с визуални възможности) | 4,5B ефективни (8B с ембедингите) |
| Архитектура | Свертка + SWA + глобално внимание | Стандартен Llama трансформър | Gated DeltaNet + контролирано внимание | Плъзгащ се прозорец + глобално внимание |
| Контекст | 256K | 131 072 | 262 144 | 128K |
| Модалности на входа | Текст | Текст | Текст, изображение, видео | Текст, изображение, аудио |
| Лиценз | LFM Open License v1.0 (праг на приходите от $10 млн.) | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| BFCL V4 (оценка на Liquid) | 71,39 | 62,65 | 55,12 | 48,25 |
| WebArena-Verified (оценка на Liquid) | 38,42 | 9,11 | 21,92 | 17,06 |
| SWE-bench Verified (оценка на Liquid) | 43,40 | 34,80 | 41,20 | 0,50 |
| GPQA Diamond (оценка на Liquid) | 63,37 | 65,15 | 75,76 | 57,88 |
| GPQA Diamond (отчетено от доставчика) | 63,37 | 70,2 | 76,2 | 58,6 |
| RULER 128K (оценка на Liquid) | 65,56 | 37,96 | 84,63 | 18,82 |
| Средна стойност в 29-те бенчмарка на Liquid | 49,37 | 39,19 | 39,27 | 31,74 |
Източници: моделна карта на Liquid LFM3, карта на MiniCPM5-2B, карта на Qwen3.5-4B, карта на Gemma 4 E4B, лиценз на LFM.
Какво предлагат моделите за зрение, аудио, омни-модалност и вземане на решения?
LFM3-VL-2B постига средно 71,4 точки в 62 визуални бенчмарка. Gemma 4 12B има 71,7 точки в същия набор. Той води в това сравнение при визуалното заземяване (77,3) и разбирането на графични интерфейси (83,1). При видеото (61,2) и агентните задачи (42,5) все още изостава от по-големите API модели.
LFM3-Audio-2B постига 6,2 WER на английски и резултат 3,8 по UTMOSv2 TTS. LFM3-Omni-2B получава 70,1 в Daily-Omni спрямо 61,3 за Qwen2.5-Omni-7B.
d1-2B заменя d1-3B с една трета по-малко параметри. Той подобрява резултата в Decision Bench от 83,6 на 85,2.
Как разработчиците могат да внедрят LFM3?
Теглата са достъпни в Hugging Face, Liquid AI Playground и Liquid API. Документацията изброява GGUF, MLX и ONNX за текстовите и визуалните модели. Средите за изпълнение включват llama.cpp, MLX, vLLM, SGLang, Ollama и Transformers.
При работа на устройство Liquid AI е измерила llama.cpp при Q4_0 с контекст от 32K. Пълният контекст от 128K изисква 1,6 GB KV кеш. Qwen3.5-4B изисква 4,3 GB. На 1 NVIDIA B300 със SGLang LFM3-1.7B генерира 3,6 млрд. токена дневно при 1024 едновременни заявки.
Liquid AI също демонстрира специализация. Няколко часа SFT и GRPO на 1 A100 повишиха точността при класификацията на дефекти във вятърни турбини до 67%.
Основни изводи
- 6 модела с отворени тегла от клас 2B споделят 1 трихибридна базова архитектура.
- LFM3-1.7B се побира в около 1 GB при 4-битова прецизност с контекст от 256K.
- Той превъзхожда Qwen3.5-9B в BFCL V4, WebArena-Verified и AutomationBench.
- Знанията и агентното програмиране остават явни слаби страни.
- Безплатното търговско използване е разрешено до годишни приходи от $10 млн.
Разгледайте техническите подробности, теглата на моделите и документацията. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Сега можете да се присъедините към нас и в Telegram.
Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face, ИЛИ продуктово издание, ИЛИ уебинар и т.н.? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.