Liquid AI запускає RIPL — рушій інференсу в реальному часі для LFM із затримкою менше 50 мс
Liquid AI щойно представила Liquid RIPL — скорочено від Real-time Inference Pipeline («конвеєр інференсу в реальному часі»). RIPL — це низьколатентний рушій, який обслуговує Liquid Foundation Models (LFM) безпосередньо в ланцюжку обробки запитів у реальному часі. Він повертає повністю згенеровані відповіді від початку до кінця менш ніж за 50 мс. Також стверджується, що така затримка зберігається, коли запити безперервно надходять за пікового навантаження. Для розробників повідомлення просте: замініть дерева з градієнтним бустингом на генеративну модель і збережіть той самий бюджет затримки.
Коротко
- Рушій: обслуговує моделі LFM2.5 із 230 млн до 2,6 млрд параметрів
- Працює на: корпоративних розгортаннях із графічними процесорами NVIDIA H100, H200, B200 і RTX PRO 6000. У бенчмарках використовувався один B200.
- Продуктивність: затримка p95 у 5,6–28,4 раза нижча, ніж у Qwen3.5 на vLLM, за власними тестами Liquid.
- Найкращий результат: LFM2.5-1.2B показала 155,8 мс p95 проти 4 431 мс у Qwen3.5-0.8B — різниця у 28,4 раза (256 вхідних, 128 вихідних токенів).
- Найгірший результат: LFM2.5-2.6B дала лише 5,6 раза (449,1 мс проти 2 499 мс). Показник менше 50 мс не досягається для довших запитів.
Яку проблему вирішує Liquid RIPL?
Більшість стеків обслуговування орієнтовані на великі пакети й тривалі агентні завдання. У таких випадках кілька секунд на запит є прийнятним показником. Ранжування пошуку, перевірки на шахрайство та авторизація платежів потребують відповідей за мілісекунди. Liquid AI стверджує, що команди обирають класичні моделі для таких сценаріїв, оскільки обслуговування LLM є надто повільним. RIPL створено, щоб усунути цей компроміс.
Як працює RIPL?
Liquid AI описує RIPL як систему, що оптимізує весь шлях — від надходження запиту до завершення формування відповіді. У кількох робочих навантаженнях Liquid AI порівнює одну й ту саму модель, LFM2.5-350M, на vLLM і RIPL. Крива p95 для RIPL у кожному випадку розташована значно нижче за криву vLLM. Це свідчить, що частина приросту продуктивності зумовлена самим рушієм, а не лише архітектурою моделі.
Моделі LFM2.5 самі є гібридними. LFM2.5-1.2B-Instruct має 16 шарів: 10 блоків згортки з подвійним керуванням і 6 блоків GQA. LFM2.5-2.6B має 30 шарів: 22 блоки згортки та 8 блоків GQA.
Бенчмарки RIPL: наскільки він швидший за vLLM?
Liquid виміряла наскрізну затримку p95 за відкритої моделі надходження запитів Пуассона на одному B200. LFM працювали на RIPL. Базові моделі, зокрема MiniCPM5 і Granite 4.2, працювали на vLLM.
| Робоче навантаження | Навантаження | LFM2.5 на RIPL (p95) | Qwen3.5 на vLLM (p95) | Різниця |
|---|---|---|---|---|
| Клас 1B, 32 вхідних → 32 вихідних | 1 000 запитів/с | 34,6 мс (1.2B) | 498 мс (0.8B) | 14,4 раза |
| Клас 1B, 256 вхідних → 128 вихідних | 400 запитів/с | 155,8 мс (1.2B) | 4 431 мс (0.8B) | 28,4 раза |
| Клас 2B, 32 вхідних → 32 вихідних | 1 000 запитів/с | 76,4 мс (2.6B) | 586,8 мс (2B) | 7,7 раза |
| Клас 2B, 256 вхідних → 128 вихідних | 300 запитів/с | 449,1 мс (2.6B) | 2 499 мс (2B) | 5,6 раза |
Джерело: блог Liquid AI, рисунок 2. За власними даними.
Liquid AI також зіставила 6 робочих навантажень у реальному часі з фіксованими бюджетами:
- Переписування запитів в рекламних технологіях: 32 вхідних, 32 вихідних, бюджет 50 мс, LFM2.5-350M.
- Класифікація пошукових намірів: 128 вхідних, 1 вихідний, бюджет 20 мс.
- Повторне ранжування пошуку: 1 тис. вхідних, 1 вихідний, бюджет 30 мс.
- Оцінювання ризику платежів: 512 вхідних, 16 вихідних, бюджет 50 мс, LFM2.5-1.2B.
- Ухвалення кредитних рішень: 8 тис. вхідних, 64 вихідних, бюджет 150 мс.
- Альтернативний текст для зображень: зображення 512×512 і 64 вхідні токени, 16 вихідних, бюджет 100 мс, LFM2.5-VL-450M.
Порівняння з конкурентами
| Характеристика | LFM2.5-1.2B на RIPL | Qwen3.5-0.8B на vLLM | LFM2.5-2.6B на RIPL | Qwen3.5-2B на vLLM |
|---|---|---|---|---|
| Параметри | 1,17 млрд | 0,8 млрд | 2,69 млрд | 2 млрд |
| Контекст | 32 768 | 262 144 | 131 072 | 262 144 |
| Ліцензія (ваги) | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| Модальність | Текст | Текст, зображення, відео | Текст | Текст, зображення, відео |
| Режим за замовчуванням | Instruct | Без міркувань | Завжди міркує | Без міркувань |
| Рушій обслуговування | RIPL (корпоративний) | vLLM (із відкритим кодом) | RIPL (корпоративний) | vLLM (із відкритим кодом) |
| p95, 32→32 | 34,6 мс | 498 мс | 76,4 мс | 586,8 мс |
| p95, 256→128 | 155,8 мс | 4 431 мс | 449,1 мс | 2 499 мс |
Чи використовується RIPL у виробничих системах?
Так, за даними Liquid AI. Shopify розгортає LFM для комерційних робочих навантажень, чутливих до затримки. У системах покращення пошуку LFM працюють із часом інференсу менше 20 мс на виробничому трафіку. Згідно з блогом Liquid AI, вони використовують приблизно на 50% менше параметрів, ніж альтернативи, і забезпечують інференс у 2–10 разів швидше.
Основні висновки
- RIPL — це рушій Liquid AI для роботи LLM безпосередньо в ланцюжках обробки запитів у реальному часі.
- Liquid стверджує, що затримка p95 у нього в 5,6–28,4 раза нижча, ніж у Qwen3.5 на vLLM.
- Тести з тією самою моделлю (LFM2.5-350M) показують, що сам RIPL перевершує vLLM.
- Shopify використовує LFM у виробничому пошуку із затримкою менше 20 мс.
- Доступний лише для корпоративного використання, є закритим, а всі показники надані самою компанією.
Перегляньте анонс RIPL, випробуйте калькулятор затримки і перегляньте картки моделей LFM2.5.. Уся заслуга належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання зі 150 тис.+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Потрібно стати нашим партнером для просування вашого репозиторію GitHub, сторінки на Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.