Buoyant представи контролен слой Kinference за vLLM в Kubernetes

Buoyant представи Kinference — проект с отворен код и лиценз Apache 2.0, предназначен за inference платформи с vLLM в Kubernetes. Написаната на Rust система стои пред група от vLLM workers и управлява избора на крайна точка за всяка заявка. Тя обединява декларативни правила за маршрутизация, ограничения на токовата честота, балансиране според KV кеша и метрики по клиент. Версията е v0.1.0-alpha.7 и използва пет Kubernetes custom resources.

Kinference включва gateway за трафика и inference handler с gRPC интерфейс. Правилата могат да отчитат tenant, заявен модел, състояние на GPU pool и семантични тагове. Сред примерите са насочване на по-прости заявки към по-малък модел, прехвърляне на пиково натоварване към външни доставчици, локална обработка при PII, изпращане на batch заявки към слабо натоварени workers и представяне на няколко модела под един алиас. Системата прогнозира времето до първия токен чрез припокриване на кеша и дължина на опашката.

В публикувания от Buoyant тест три vLLM 0.31.0 pods са използвали по един L40S GPU и модела Qwen3.8-27B-FP8. При споделен префикс медианният TTFT е намалял от 6,88 на 0,31 секунди спрямо стандартно случайно маршрутизиране чрез Kubernetes Service. Пиковият goodput е нараснал от 14,0 на 103,0 заявки в минута. Данните са самодекларирани, а при заявки без споделени префикси не е отчетено съществено подобрение. Проектът остава в alpha етап.