Buoyant представи контролен слой Kinference за vLLM в Kubernetes
Buoyant представи Kinference — проект с отворен код и лиценз Apache 2.0, предназначен за inference платформи с vLLM в Kubernetes. Написаната на Rust система стои пред група от vLLM workers и управлява избора на крайна точка за всяка заявка. Тя обединява декларативни правила за маршрутизация, ограничения на токовата честота, балансиране според KV кеша и метрики по клиент. Версията е v0.1.0-alpha.7 и използва пет Kubernetes custom resources.