Buoyant выпустила Kinference для управления inference в Kubernetes
Компания Buoyant представила Kinference — проект с открытым исходным кодом и лицензией Apache 2.0 для построения inference-платформ на Kubernetes с vLLM. Система на Rust размещается перед группой vLLM workers и выбирает конечную точку для каждого запроса. Она объединяет декларативную маршрутизацию, ограничения скорости по токенам, балансировку с учетом KV-кэша и метрики по tenant. Текущий выпуск — v0.1.0-alpha.7; конфигурация задается пятью пользовательскими ресурсами Kubernetes.