Liquid AI запускает RIPL — движок инференса в реальном времени для LFM с задержкой менее 50 мс

Liquid AI только что представила Liquid RIPL — сокращение от Real-time Inference Pipeline («конвейер вывода в реальном времени»). RIPL — это движок с низкой задержкой, который обслуживает Liquid Foundation Models (LFM) непосредственно в рамках обработки поступающего запроса. Он возвращает полностью сгенерированные ответы от начала до конца менее чем за 50 мс. Также заявляется, что такая задержка сохраняется при непрерывном поступлении трафика на пиковой нагрузке. Для разработчиков посыл прост: замените градиентный бустинг на генеративную модель и сохраните прежний бюджет задержки.

Кратко

• Движок: обслуживает модели LFM2.5 с числом параметров от 230 млн до 2,6 млрд
• Работает на: NVIDIA H100, H200, B200 и RTX PRO 6000 в корпоративных развертываниях. В бенчмарках использовался один B200.
• Производительность: задержка p95 в 5,6–28,4 раза ниже, чем у Qwen3.5 на vLLM, согласно собственным тестам Liquid.
• Лучший результат: LFM2.5-1.2B показала 155,8 мс p95 против 4 431 мс у Qwen3.5-0.8B — разрыв в 28,4 раза (256 входных и 128 выходных токенов).
• Худший результат: LFM2.5-2.6B обеспечила лишь 5,6-кратное преимущество (449,1 мс против 2 499 мс). На более длинных запросах показатель менее 50 мс не достигается.

Какую проблему решает Liquid RIPL?

Большинство стеков обслуживания ориентированы на крупные пакеты и длительные агентские задачи. В таких случаях приемлема задержка в несколько секунд на запрос. Поиск, проверки на мошенничество и авторизация платежей требуют ответов за миллисекунды. В Liquid AI считают, что команды по умолчанию используют классические модели для таких сценариев, поскольку обслуживание LLM слишком медленное. RIPL создан, чтобы устранить этот компромисс.

Как работает RIPL?

Liquid AI описывает RIPL как систему, оптимизирующую весь путь — от поступления запроса до формирования готового ответа. В нескольких сценариях Liquid AI сравнивает одну и ту же модель LFM2.5-350M на vLLM и RIPL. Линия p95 для RIPL в каждом случае находится значительно ниже линии vLLM. Это показывает, что часть прироста обеспечивается самим движком, а не только архитектурой модели.

Модели LFM2.5 сами по себе являются гибридными. LFM2.5-1.2B-Instruct имеет 16 слоев: 10 блоков свертки с двойным гейтированием и 6 блоков GQA. В LFM2.5-2.6B 30 слоев: 22 блока свертки и 8 блоков GQA.

Бенчмарки RIPL: насколько он быстрее vLLM?

Liquid измерила сквозную задержку p95 при открытой модели поступления запросов Пуассона на одном B200. LFM работали на RIPL. Базовые модели, включая MiniCPM5 и Granite 4.2, работали на vLLM.

Сценарий	Нагрузка	LFM2.5 на RIPL (p95)	Qwen3.5 на vLLM (p95)	Разрыв
Класс 1B, 32 входных → 32 выходных	1 000 запросов/с	34,6 мс (1.2B)	498 мс (0.8B)	14,4 раза
Класс 1B, 256 входных → 128 выходных	400 запросов/с	155,8 мс (1.2B)	4 431 мс (0.8B)	28,4 раза
Класс 2B, 32 входных → 32 выходных	1 000 запросов/с	76,4 мс (2.6B)	586,8 мс (2B)	7,7 раза
Класс 2B, 256 входных → 128 выходных	300 запросов/с	449,1 мс (2.6B)	2 499 мс (2B)	5,6 раза

Источник: блог Liquid AI, рисунок 2. Сообщено самой компанией.

Liquid AI также сопоставила 6 сценариев работы в реальном времени с фиксированными бюджетами:

• Переписывание запросов в рекламных технологиях: 32 входных, 32 выходных, бюджет 50 мс, LFM2.5-350M.
• Классификация поисковых намерений: 128 входных, 1 выходной, бюджет 20 мс.
• Повторное ранжирование результатов поиска: 1 тыс. входных, 1 выходной, бюджет 30 мс.
• Оценка риска платежей: 512 входных, 16 выходных, бюджет 50 мс, LFM2.5-1.2B.
• Принятие кредитных решений: 8 тыс. входных, 64 выходных, бюджет 150 мс.
• Альтернативный текст для изображений: изображение 512×512 и 64 входных токена, 16 выходных, бюджет 100 мс, LFM2.5-VL-450M.

Сравнение с конкурентами

Характеристика	LFM2.5-1.2B на RIPL	Qwen3.5-0.8B на vLLM	LFM2.5-2.6B на RIPL	Qwen3.5-2B на vLLM
Параметры	1,17 млрд	0,8 млрд	2,69 млрд	2 млрд
Контекст	32 768	262 144	131 072	262 144
Лицензия (веса)	LFM Open License v1.0	Apache 2.0	LFM Open License v1.0	Apache 2.0
Модальности	Текст	Текст, изображение, видео	Текст	Текст, изображение, видео
Режим по умолчанию	Instruct	Без рассуждений	Всегда рассуждает	Без рассуждений
Движок обслуживания	RIPL (корпоративный)	vLLM (с открытым исходным кодом)	RIPL (корпоративный)	vLLM (с открытым исходным кодом)
p95, 32→32	34,6 мс	498 мс	76,4 мс	586,8 мс
p95, 256→128	155,8 мс	4 431 мс	449,1 мс	2 499 мс

Используется ли RIPL в production-среде?

Да, согласно Liquid AI. Shopify развертывает LFM для чувствительных к задержке коммерческих сценариев. В задачах улучшения поиска LFM работают с задержкой вывода менее 20 мс на производственном трафике. Согласно блогу Liquid AI, они используют примерно на 50% меньше параметров, чем альтернативы, и обеспечивают вывод в 2–10 раз быстрее.

Основные выводы

• RIPL — это движок Liquid AI для LLM, работающих непосредственно в рамках обработки поступающих запросов.
• Liquid заявляет о задержке p95 в 5,6–28,4 раза ниже, чем у Qwen3.5 на vLLM.
• Тесты на одной и той же модели (LFM2.5-350M) показывают, что сам RIPL превосходит vLLM.
• Shopify использует LFM в производственном поиске с задержкой менее 20 мс.
• Решение доступно только корпоративным клиентам, является закрытым, а все показатели предоставлены самой компанией.

---

Ознакомьтесь с анонсом RIPL, попробуйте калькулятор задержки и изучите карточки моделей LFM2.5.. Все заслуги принадлежат исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту ML с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.

Хотите сотрудничать с нами для продвижения своего репозитория GitHub, страницы на Hugging Face, релиза продукта, вебинара и т. д.? Свяжитесь с нами