llm-d 1.0 добавляет маршрутизацию с учетом кеша для ИИ-инференса
Google, Red Hat и IBM выпустили llm-d 1.0 — первый стабильный релиз открытого Kubernetes-ориентированного стека для распределенного инференса больших языковых моделей. Он объединяет серверы vLLM и SGLang в общий пул для самостоятельно размещаемых агентных и reinforcement learning-систем. Проект входит в CNCF Sandbox, распространяется по лицензии Apache 2.0 и объединяет более 500 участников из свыше 25 организаций.