Buoyant выпустила Kinference для управления inference в Kubernetes

Компания Buoyant представила Kinference — проект с открытым исходным кодом и лицензией Apache 2.0 для построения inference-платформ на Kubernetes с vLLM. Система на Rust размещается перед группой vLLM workers и выбирает конечную точку для каждого запроса. Она объединяет декларативную маршрутизацию, ограничения скорости по токенам, балансировку с учетом KV-кэша и метрики по tenant. Текущий выпуск — v0.1.0-alpha.7; конфигурация задается пятью пользовательскими ресурсами Kubernetes.

В состав входят шлюз трафика и inference handler с интерфейсом gRPC. Политики могут учитывать tenant, запрошенную модель, состояние GPU-пула и семантические теги. Среди описанных сценариев — отправка простых запросов к меньшей модели, перенос всплесков нагрузки к внешним провайдерам, сохранение запросов с PII внутри локальной инфраструктуры, запуск batch-запросов только на свободных workers и объединение нескольких моделей под одним именем. Для выбора система прогнозирует время до первого токена, используя пересечение кеша и длину очереди.

В тесте Buoyant три pod vLLM 0.31.0 работали каждый на одном L40S GPU с моделью Qwen3.8-27B-FP8. Для запросов с общим префиксом медианный TTFT снизился с 6,88 до 0,31 секунды по сравнению со случайной маршрутизацией Kubernetes Service. Пиковая производительность выросла с 14,0 до 103,0 запросов в минуту. Результаты предоставлены самой Buoyant; для запросов без общего префикса заметного улучшения не было. Kinference пока имеет alpha-статус.