llm-d 1.0 добавя маршрутизиране според кеша за AI инференция
Google, Red Hat и IBM представиха llm-d 1.0 — първата стабилна версия на open-source, Kubernetes-native стек за разпределен инференс на големи езикови модели. Той обединява сървъри с vLLM и SGLang в общ пул, предназначен за самостоятелно хоствани агентни и reinforcement learning натоварвания. Проектът е в CNCF Sandbox, лицензът му е Apache 2.0, а участниците са над 500 от повече от 25 организации.