Liquid AI пуска RIPL — двигател за инференс в реално време за LFM с латентност под 50 мс
Liquid AI току-що обяви Liquid RIPL, съкращение от Real-time Inference Pipeline. RIPL е двигател с ниска латентност, който обслужва Liquid Foundation Models (LFM) в рамките на пътя на заявка в реално време. Той връща напълно генерирани отговори от край до край за под 50 ms. Компанията също твърди, че тази латентност се запазва, докато трафикът постъпва непрекъснато при пиково натоварване. За разработчиците посланието е просто. Заменете градиентно подсилените дървета с генеративен модел и запазете заложения бюджет за латентност.
Накратко
- Двигател: Обслужва модели LFM2.5 от 230M до 2.6B параметъра
- Работи на: Корпоративни внедрявания върху графични процесори NVIDIA H100, H200, B200 и RTX PRO 6000. Бенчмарковете са използвали един B200.
- Производителност: 5.6 до 28.4 пъти по-ниска p95 латентност спрямо Qwen3.5 върху vLLM според собствените тестове на Liquid.
- Най-добър резултат: LFM2.5-1.2B постигна 155.8 ms p95 спрямо 4,431 ms за Qwen3.5-0.8B, разлика от 28.4 пъти (256 входни, 128 изходни токена).
- Най-слаб резултат: LFM2.5-2.6B постигна само 5.6 пъти по-добър резултат (449.1 ms спрямо 2,499 ms). Под 50 ms не се постига при по-дълги заявки.
Какъв проблем решава Liquid RIPL?
Повечето стекове за обслужване са насочени към големи пакетни задачи и дълги агентски процеси. Там няколко секунди на заявка са приемливи. Класирането на търсене, проверките за измами и оторизацията на плащания изискват отговори за милисекунди. Liquid AI твърди, че екипите по подразбиране използват класически модели за тези пътища, защото обслужването на LLM е твърде бавно. RIPL е създаден, за да премахне този компромис.
Как работи RIPL?
Liquid AI описва RIPL като оптимизация на целия път — от постъпването на заявката до завършения отговор. При няколко работни натоварвания Liquid AI показва един и същ модел, LFM2.5-350M, върху vLLM и RIPL. Линията на RIPL за p95 е значително под линията на vLLM във всеки случай. Това показва, че част от подобрението се дължи на двигателя, а не само на архитектурата на модела.
Самите модели LFM2.5 са хибридни. LFM2.5-1.2B-Instruct има 16 слоя: 10 двупортални конволюционни блока и 6 GQA блока. LFM2.5-2.6B има 30 слоя: 22 конволюционни блока и 8 GQA блока.
Бенчмаркове на RIPL: колко е бърз спрямо vLLM?
Liquid измери p95 латентността от край до край при входящи заявки на Поасон по модел с отворен цикъл върху един B200. LFM моделите работеха на RIPL. Базовите модели, включително MiniCPM5 и Granite 4.2, работеха върху vLLM.
| Работно натоварване | Натоварване | LFM2.5 върху RIPL (p95) | Qwen3.5 върху vLLM (p95) | Разлика |
|---|---|---|---|---|
| Клас 1B, 32 входа → 32 изхода | 1,000 заявки/сек. | 34.6 ms (1.2B) | 498 ms (0.8B) | 14.4 пъти |
| Клас 1B, 256 входа → 128 изхода | 400 заявки/сек. | 155.8 ms (1.2B) | 4,431 ms (0.8B) | 28.4 пъти |
| Клас 2B, 32 входа → 32 изхода | 1,000 заявки/сек. | 76.4 ms (2.6B) | 586.8 ms (2B) | 7.7 пъти |
| Клас 2B, 256 входа → 128 изхода | 300 заявки/сек. | 449.1 ms (2.6B) | 2,499 ms (2B) | 5.6 пъти |
Източник: блогът на Liquid AI, Фигура 2. По данни на компанията.
Liquid AI също така съпостави 6 работни натоварвания в реално време с фиксирани бюджети:
- Пренаписване на заявки за рекламни технологии: 32 входа, 32 изхода, бюджет от 50 ms, LFM2.5-350M.
- Класификация на намерението при търсене: 128 входа, 1 изход, бюджет от 20 ms.
- Повторно класиране на резултатите от търсене: 1k входа, 1 изход, бюджет от 30 ms.
- Оценка на риска при плащания: 512 входа, 16 изхода, бюджет от 50 ms, LFM2.5-1.2B.
- Вземане на кредитни решения: 8k входа, 64 изхода, бюджет от 150 ms.
- Алтернативен текст за изображения: изображение 512×512 и 64 входни токена, 16 изходни, бюджет от 100 ms, LFM2.5-VL-450M.
Сравнение с конкурентите
| Функция | LFM2.5-1.2B върху RIPL | Qwen3.5-0.8B върху vLLM | LFM2.5-2.6B върху RIPL | Qwen3.5-2B върху vLLM |
|---|---|---|---|---|
| Параметри | 1.17B | 0.8B | 2.69B | 2B |
| Контекст | 32,768 | 262,144 | 131,072 | 262,144 |
| Лиценз (тегла) | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| Модалност | Текст | Текст, изображение, видео | Текст | Текст, изображение, видео |
| Режим по подразбиране | Instruct | Без мислене | Винаги разсъждава | Без мислене |
| Двигател за обслужване | RIPL (корпоративен) | vLLM (с отворен код) | RIPL (корпоративен) | vLLM (с отворен код) |
| p95, 32→32 | 34.6 ms | 498 ms | 76.4 ms | 586.8 ms |
| p95, 256→128 | 155.8 ms | 4,431 ms | 449.1 ms | 2,499 ms |
Използва ли се RIPL в производство?
Да, според Liquid AI. Shopify внедрява LFM в чувствителни към латентността търговски работни натоварвания. При подобряването на търсенето LFM работят с инференция под 20 ms върху производствен трафик. Според блога на Liquid AI те използват около 50% по-малко параметри от алтернативите и осигуряват от 2 до 10 пъти по-бърза инференция.
Основни изводи
- RIPL е двигателят на Liquid AI за LLM в рамките на пътищата на заявки в реално време.
- Liquid твърди, че p95 латентността е от 5.6 до 28.4 пъти по-ниска от тази на Qwen3.5 върху vLLM.
- Тестовете с един и същ модел (LFM2.5-350M) показват, че самият RIPL превъзхожда vLLM.
- Shopify използва LFM с латентност под 20 ms при производствено търсене.
- Само за корпоративни клиенти, със затворен код, като всички данни са предоставени от самата компания.
Разгледайте съобщението за RIPL, изпробвайте калкулатора за латентност и вижте .. Всички заслуги са за изследователя на този проект. Също така можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Сега можете да се присъедините към нас и в Telegram.
Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face, ИЛИ издание на продукт, ИЛИ уебинар и т.н.? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.