Liquid AI выпустила LFM3: 6 мультимодальных моделей класса 2B с открытыми весами
Liquid AI выпустила LFM3 — новое поколение Liquid Foundation Models. Liquid AI LFM3 — это семейство из 6 моделей с открытыми весами класса 2B, построенных на едином общем базовом каркасе. Семейство охватывает задачи, связанные с текстом, изображениями, аудио, мультимодальностью и принятием решений. Каждую модель можно дообучить на одном GPU. После этого разработчики могут развернуть её на телефонах, ноутбуках, частных серверах или в облаке.
Кратко
- Размер: LFM3-1.7B имеет 1,73 млрд параметров и контекстное окно 256K. LFM3-VL-2B — 1,92 млрд параметров и 128K. LFM3-Omni-2B — 2,2 млрд.
- Работает на: примерно 1 ГБ памяти в 4-битном режиме, то есть на телефонах и ноутбуках. Поставляются контрольные точки GGUF, MLX, ONNX, FP8 и NVFP4.
- Производительность: средний результат LFM3-1.7B составляет 49,37 балла по 29 тестам, что выше показателя Qwen3.5-9B — 47,24 (собственная оценка Liquid).
- Лучший результат: IFEval — 96,66, а AutomationBench — 41,29 против 15,10 у Qwen3.5-9B.
- Худший результат: Humanity’s Last Exam (без инструментов) — 7,17, а RULER 128K — 65,56 против 87,11 у Qwen3.5-9B.
Что такое Liquid AI LFM3?
LFM3 — это семейство мультимодальных моделей от Liquid AI, включающее 6 моделей на базе одной исходной. Все они начинаются с LFM3-1.7B-Base.
В релиз входят:
- LFM3-1.7B: текстовая модель для локальных агентов, дообученная для таких фреймворков, как Hermes Agent, Pi и OpenClaw.
- LFM3-VL-2B: первая зрительная модель LFM с поддержкой видеоввода, обрабатываемого со скоростью 2 кадра в секунду.
- LFM3-Audio-2B: поддержка речи на входе и выходе на 18 языках, а также вызов инструментов.
- LFM3-Omni-2B: зрение, аудио и язык в одной модели, отвечающей текстом или речью.
- d1-2B и d1-Omni-2B: модели принятия решений, которые отвечают на множество вопросов за 1 прямой проход.
Как работает тригибридная архитектура?
Базовый каркас сочетает 3 оператора в 24 слоях. В нём 13 управляемых коротких свёрток, 5 слоёв внимания со скользящим окном и 6 слоёв глобального внимания. Окно SWA составляет 256 токенов. Размер свёрточных ядер увеличился с 3 до 7.
Команда Liquid AI нашла это сочетание с помощью поиска архитектуры с учётом аппаратного обеспечения. LFM2 настраивалась на 1 телефоне и 1 ноутбуке. LFM3 настраивалась на 14 комбинациях устройств и бэкендов. Среди них — Raspberry Pi 5 и NPU Qualcomm Hexagon.
Другие изменения включают сигмоидальные элементы управления для каждой головы внимания, частичное RoPE в глобальных слоях и sandwich-нормализацию. Базовая модель увидела 22 трлн токенов. Последние 3,5 трлн токенов использовались для промежуточного обучения с акцентом на агентов, что также увеличило контекст до 256K.
Дообучение проходило в 4 этапа. Сначала применялось SFT на 1,75 трлн токенов, затем смешанное RL. После этого 6 специализированных учителей были дистиллированы в 1 модель, за чем последовало агентное RL.
Как LFM3-1.7B показывает себя в тестах?
Liquid AI сообщает, что LFM3-1.7B превосходит LFM2.5-2.6B, имея на 35% меньше параметров. Главная новость — результаты в задачах для агентов. В WebArena-Verified она набирает 38,42 балла против 28,94 у Qwen3.5-9B. В BFCL V4 результат составляет 71,39 против 62,83.
В задачах на знания и агентное программирование размер всё ещё имеет значение. В GPQA Diamond результат составляет 63,37 против 80,40 у Qwen3.5-9B. В SWE-bench Verified — 43,40 против 51,20. Поиск сокращает разрыв: результат Humanity’s Last Exam повышается с 7,17 до 13,90 при использовании инструментов.
Как LFM3-1.7B сравнивается с конкурентами?
| Характеристика | LFM3-1.7B | MiniCPM5-2B | Qwen3.5-4B | Gemma 4 E4B |
|---|---|---|---|---|
| Параметры | 1,73B | 2,52B | 4B LM (5B на Hub с поддержкой зрения) | 4,5B эффективных (8B с эмбеддингами) |
| Архитектура | Свёртки + SWA + глобальное внимание | Стандартный трансформер Llama | Gated DeltaNet + управляемое внимание | Скользящее окно + глобальное внимание |
| Контекст | 256K | 131 072 | 262 144 | 128K |
| Модальности ввода | Текст | Текст | Текст, изображения, видео | Текст, изображения, аудио |
| Лицензия | LFM Open License v1.0 (порог выручки $10 млн) | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| BFCL V4 (оценка Liquid) | 71,39 | 62,65 | 55,12 | 48,25 |
| WebArena-Verified (оценка Liquid) | 38,42 | 9,11 | 21,92 | 17,06 |
| SWE-bench Verified (оценка Liquid) | 43,40 | 34,80 | 41,20 | 0,50 |
| GPQA Diamond (оценка Liquid) | 63,37 | 65,15 | 75,76 | 57,88 |
| GPQA Diamond (по данным поставщика) | 63,37 | 70,2 | 76,2 | 58,6 |
| RULER 128K (оценка Liquid) | 65,56 | 37,96 | 84,63 | 18,82 |
| Среднее по 29 тестам Liquid | 49,37 | 39,19 | 39,27 | 31,74 |
Источники: карточка модели Liquid LFM3, карточка MiniCPM5-2B, карточка Qwen3.5-4B, карточка Gemma 4 E4B, лицензия LFM.
Что насчёт моделей для зрения, аудио, мультимодальности и принятия решений?
LFM3-VL-2B в среднем набирает 71,4 балла по 62 тестам на работу с изображениями. Gemma 4 12B получает 71,7 в том же наборе тестов. Она лидирует в этом сравнении по визуальному заземлению (77,3) и пониманию графического интерфейса (83,1). Результаты в видео (61,2) и агентных задачах (42,5) всё ещё уступают более крупным API-моделям.
LFM3-Audio-2B достигает показателя WER 6,2 для английского языка и показателя TTS UTMOSv2 3,8. LFM3-Omni-2B набирает 70,1 в Daily-Omni против 61,3 у Qwen2.5-Omni-7B.
d1-2B заменяет d1-3B, имея на треть меньше параметров. Она улучшает результат в Decision Bench с 83,6 до 85,2.
Как разработчики могут развернуть LFM3?
Веса доступны на Hugging Face, в Liquid AI Playground и Liquid API. В документации перечислены версии GGUF, MLX и ONNX для текстовых и зрительных моделей. Среди поддерживаемых сред — llama.cpp, MLX, vLLM, SGLang, Ollama и Transformers.
Для работы на устройстве Liquid AI измерила производительность llama.cpp в формате Q4_0 с контекстом 32K. Полный контекст 128K требует 1,6 ГБ KV-кэша. Qwen3.5-4B требует 4,3 ГБ. На 1 NVIDIA B300 с SGLang LFM3-1.7B генерирует 3,6 млрд токенов в день при 1 024 одновременных запросах.
Liquid AI также продемонстрировала специализацию. Несколько часов SFT и GRPO на 1 A100 повысили точность классификации дефектов ветряных турбин до 67%.
Ключевые выводы
- 6 моделей класса 2B с открытыми весами используют 1 тригибридный базовый каркас.
- LFM3-1.7B занимает около 1 ГБ в 4-битном режиме при контексте 256K.
- Она превосходит Qwen3.5-9B в BFCL V4, WebArena-Verified и AutomationBench.
- Знания и агентное программирование остаются очевидными слабыми сторонами.
- Бесплатное коммерческое использование ограничено годовой выручкой в $10 млн.
Ознакомьтесь с техническими подробностями, весами моделей и документацией. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? Теперь вы также можете присоединиться к нам в Telegram.
Хотите сотрудничать с нами для продвижения вашего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.