llm-d 1.0 додає маршрутизацію з урахуванням кешу для ШІ-інференсу
Google, Red Hat та IBM випустили llm-d 1.0 — першу стабільну версію відкритого Kubernetes-нативного стеку для розподіленого інференсу великих мовних моделей. Він об’єднує сервери vLLM і SGLang у спільний пул для самостійно розгорнутих агентних і reinforcement learning навантажень. Проєкт є частиною CNCF Sandbox, поширюється за ліцензією Apache 2.0 і має понад 500 учасників із більш ніж 25 організацій.