Buoyant випустила Kinference для керування inference у Kubernetes
Компанія Buoyant випустила Kinference — проєкт із відкритим кодом і ліцензією Apache 2.0 для створення inference-платформ на Kubernetes із vLLM. Система, написана мовою Rust, працює перед групою vLLM workers і визначає кінцеву точку для кожного запиту. Вона поєднує декларативну маршрутизацію, обмеження швидкості за токенами, балансування з урахуванням KV-кешу та метрики для кожного tenant. Поточний випуск має номер v0.1.0-alpha.7, а налаштування виконуються через п’ять користувацьких ресурсів Kubernetes.