Liquid AI представила LFM3: 6 мультимодальних моделей класу 2B із відкритими вагами
Liquid AI випустила LFM3 — нове покоління Liquid Foundation Models. Liquid AI LFM3 — це сімейство з 6 моделей із відкритими вагами класу 2B, побудованих на одній спільній базовій архітектурі. Сімейство охоплює текстові, візуальні, аудіо-, омні-моделі та моделі для завдань ухвалення рішень. Кожну модель можна донавчати на одному GPU. Після цього розробники можуть розгортати їх на телефонах, ноутбуках, приватних серверах або в хмарі.
Коротко
- Розмір: LFM3-1.7B має 1,73 млрд параметрів і контекстне вікно на 256 тис. токенів. LFM3-VL-2B має 1,92 млрд параметрів і контекстне вікно на 128 тис. токенів. LFM3-Omni-2B має 2,2 млрд параметрів.
- Працює на: приблизно 1 ГБ пам’яті у 4-бітному форматі, тож підходить для телефонів і ноутбуків. Доступні контрольні точки GGUF, MLX, ONNX, FP8 і NVFP4.
- Продуктивність: LFM3-1.7B у середньому набирає 49,37 бала у 29 бенчмарках, випереджаючи Qwen3.5-9B із результатом 47,24 (за власною оцінкою Liquid).
- Найкращий результат: IFEval — 96,66, а AutomationBench — 41,29 проти 15,10 у Qwen3.5-9B.
- Найгірший результат: Humanity’s Last Exam (без інструментів) — 7,17, а RULER 128K — 65,56 проти 87,11 у Qwen3.5-9B.
Що таке Liquid AI LFM3?
LFM3 — це мультимодальне сімейство моделей від Liquid AI, яке включає 6 моделей на основі 1 базової. Усі вони починаються з LFM3-1.7B-Base.
До випуску входять:
- LFM3-1.7B: текстова модель для локальних агентів, донавчена для таких фреймворків, як Hermes Agent, Pi та OpenClaw.
- LFM3-VL-2B: перша візуальна модель LFM із підтримкою відеовведення, що обробляється зі швидкістю 2 кадри на секунду.
- LFM3-Audio-2B: введення й виведення мовлення 18 мовами, із підтримкою виклику інструментів.
- LFM3-Omni-2B: бачення, аудіо та мова в одній моделі, яка відповідає текстом або мовленням.
- d1-2B і d1-Omni-2B: моделі для ухвалення рішень, які відповідають на багато запитань за 1 прямий прохід.
Як працює тригібридна архітектура?
Базова архітектура поєднує 3 оператори у 24 шарах. Вона містить 13 вентильованих коротких згорток, 5 шарів уваги з ковзним вікном і 6 шарів глобальної уваги. Вікно SWA становить 256 токенів. Ядра згортки збільшилися з 3 до 7.
Команда Liquid AI знайшла це поєднання за допомогою пошуку архітектури із замкненим апаратним циклом. LFM2 налаштовували на 1 телефоні та 1 ноутбуці. LFM3 налаштовували на 14 комбінаціях пристроїв і бекендів. Серед них — Raspberry Pi 5 і NPU Qualcomm Hexagon.
Серед інших змін — сигмоїдальні вентилі для кожної головки уваги, частковий RoPE у глобальних шарах і sandwich norm. Базову модель навчали на 22 трлн токенів. Останні 3,5 трлн токенів припадали на донавчання з акцентом на агентів, що також розширило контекст до 256 тис. токенів.
Посттренування проходило у 4 етапи. Спочатку виконували SFT на 1,75 трлн токенів, потім застосували змішане RL. Далі 6 спеціалізованих моделей-учителів дистилювали в 1 модель, після чого провели агентне RL.
Як LFM3-1.7B показує себе в бенчмарках?
Liquid AI повідомляє, що LFM3-1.7B випереджає LFM2.5-2.6B, маючи на 35% менше параметрів. Головний результат — показники в агентних завданнях. У WebArena-Verified модель набирає 38,42 проти 28,94 у Qwen3.5-9B. У BFCL V4 вона набирає 71,39 проти 62,83.
Більший розмір усе ще дає перевагу у знаннях і агентному програмуванні. Результат GPQA Diamond становить 63,37 проти 80,40 у Qwen3.5-9B. У SWE-bench Verified — 43,40 проти 51,20. Пошук скорочує розрив: результат Humanity’s Last Exam зростає з 7,17 до 13,90 із використанням інструментів.
Як LFM3-1.7B порівнюється з конкурентами?
| Характеристика | LFM3-1.7B | MiniCPM5-2B | Qwen3.5-4B | Gemma 4 E4B |
|---|---|---|---|---|
| Параметри | 1,73 млрд | 2,52 млрд | 4 млрд LM (5 млрд на Hub із підтримкою бачення) | 4,5 млрд ефективних (8 млрд із вбудовуваннями) |
| Архітектура | Згортка + SWA + глобальна увага | Стандартний трансформер Llama | Gated DeltaNet + вентильована увага | Ковзне вікно + глобальна увага |
| Контекст | 256 тис. | 131 072 | 262 144 | 128 тис. |
| Модальності введення | Текст | Текст | Текст, зображення, відео | Текст, зображення, аудіо |
| Ліцензія | LFM Open License v1.0 (поріг доходу — 10 млн доларів) | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| BFCL V4 (оцінка Liquid) | 71,39 | 62,65 | 55,12 | 48,25 |
| WebArena-Verified (оцінка Liquid) | 38,42 | 9,11 | 21,92 | 17,06 |
| SWE-bench Verified (оцінка Liquid) | 43,40 | 34,80 | 41,20 | 0,50 |
| GPQA Diamond (оцінка Liquid) | 63,37 | 65,15 | 75,76 | 57,88 |
| GPQA Diamond (дані постачальника) | 63,37 | 70,2 | 76,2 | 58,6 |
| RULER 128K (оцінка Liquid) | 65,56 | 37,96 | 84,63 | 18,82 |
| Середнє за 29 бенчмарками Liquid | 49,37 | 39,19 | 39,27 | 31,74 |
Джерела: картка моделі Liquid LFM3, картка MiniCPM5-2B, картка Qwen3.5-4B, картка Gemma 4 E4B, ліцензія LFM.
А що з моделями для бачення, аудіо, омні- та ухвалення рішень?
LFM3-VL-2B у середньому набирає 71,4 бала у 62 візуальних бенчмарках. Gemma 4 12B набирає 71,7 у тому самому наборі. У цьому порівнянні вона лідирує у візуальному визначенні об’єктів (77,3) і розумінні графічного інтерфейсу (83,1). Відео (61,2) та агентні завдання (42,5) усе ще поступаються більшим моделям через API.
LFM3-Audio-2B досягає показника WER для англійської мови 6,2 і показника TTS UTMOSv2 3,8. LFM3-Omni-2B набирає 70,1 у Daily-Omni проти 61,3 у Qwen2.5-Omni-7B.
d1-2B замінює d1-3B, маючи на третину менше параметрів. Вона підвищує результат у Decision Bench із 83,6 до 85,2.
Як розробники можуть розгортати LFM3?
Ваги доступні на Hugging Face, у Liquid AI Playground і Liquid API. У документації перелічено GGUF, MLX і ONNX для текстових і візуальних моделей. Серед доступних середовищ виконання — llama.cpp, MLX, vLLM, SGLang, Ollama та Transformers.
Для роботи на пристрої Liquid AI виміряла продуктивність llama.cpp у форматі Q4_0 із контекстом 32 тис. токенів. Повний контекст на 128 тис. токенів потребує 1,6 ГБ KV-кешу. Qwen3.5-4B потребує 4,3 ГБ. На 1 NVIDIA B300 із SGLang LFM3-1.7B генерує 3,6 млрд токенів на день за 1 024 одночасних запитів.
Liquid AI також продемонструвала спеціалізацію. Кілька годин SFT і GRPO на 1 A100 підвищили точність класифікації дефектів вітрових турбін до 67%.
Основні висновки
- 6 моделей із відкритими вагами класу 2B використовують 1 тригібридну базову архітектуру.
- LFM3-1.7B уміщується приблизно в 1 ГБ у 4-бітному форматі з контекстом 256 тис. токенів.
- Вона випереджає Qwen3.5-9B у BFCL V4, WebArena-Verified і AutomationBench.
- Знання та агентне програмування залишаються очевидними слабкими місцями.
- Безкоштовне комерційне використання дозволене до досягнення річного доходу в 10 млн доларів.
Ознайомтеся з технічними деталями, вагами моделей і документацією. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання з понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки на Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.