Buoyant випустила Kinference для керування inference у Kubernetes

Компанія Buoyant випустила Kinference — проєкт із відкритим кодом і ліцензією Apache 2.0 для створення inference-платформ на Kubernetes із vLLM. Система, написана мовою Rust, працює перед групою vLLM workers і визначає кінцеву точку для кожного запиту. Вона поєднує декларативну маршрутизацію, обмеження швидкості за токенами, балансування з урахуванням KV-кешу та метрики для кожного tenant. Поточний випуск має номер v0.1.0-alpha.7, а налаштування виконуються через п’ять користувацьких ресурсів Kubernetes.

Kinference складається зі шлюзу трафіку та inference handler із gRPC-інтерфейсом. Політики можуть враховувати tenant, потрібну модель, стан GPU-пулу й семантичні теги. Серед прикладів — передавання простих запитів меншій моделі, перенаправлення сплесків до зовнішніх провайдерів, локальна обробка запитів із PII, допуск batch-запитів лише до малозавантажених workers і публікація кількох моделей під одним псевдонімом. Система прогнозує час до першого токена на основі перекриття кешу та довжини черги.

У тесті Buoyant три pod vLLM 0.31.0 працювали кожен на одному L40S GPU з моделлю Qwen3.8-27B-FP8. Для трафіку зі спільним префіксом медіанний TTFT зменшився з 6,88 до 0,31 секунди порівняно з випадковою маршрутизацією через Kubernetes Service. Пікова пропускна здатність зросла з 14,0 до 103,0 запитів за хвилину. Результати надала сама Buoyant; для запитів без спільних префіксів помітного покращення не було. Kinference наразі перебуває на alpha-стадії.