NVIDIA отвори кода на Run:ai под Apache 2.0 за GPU оркестрация в Kubernetes
NVIDIA пусна цялата платформа NVIDIA Run:ai като софтуер с отворен код. Изходният код е публикуван под лиценза Apache 2.0 в GitHub. NVIDIA Run:ai с отворен код предоставя на разработчиците контрол върху производственото планиране на GPU ресурси, квотите и управлението на работните натоварвания. С това издание Run:ai става част от платформата NVIDIA DSX AI Factory. Екипите, отговарящи за платформата, вече могат да инспектират, разклоняват и хостват самостоятелно целия стек без платен абонамент.
Накратко
- Размер: Монорепозиториум с контролна равнина, клъстерни услуги, инсталатор, CLI и MCP сървър. Локалните компилации включват около 50 Go услуги.
- Работи върху: Kubernetes или OpenShift клъстери с NVIDIA GPU. Локалната разработка работи на macOS или Linux с 8 симулирани Tesla-A10 GPU, без да е необходим GPU.
- Производителност: NVIDIA не е публикувала бенчмарк на ниво платформа за това издание.
- Най-добро: Свързаният Model Streamer зарежда модели от 3 до 6 пъти по-бързо на 8 NVIDIA H100 виртуални машини в Azure.
- Най-лошо: Версията за общността не включва корпоративна поддръжка от NVIDIA. Локалните компилации изискват 16 GB RAM и 100 GB дисково пространство под Linux.
Какво представлява NVIDIA Run:ai?
NVIDIA Run:ai е платформа на NVIDIA за AI работни натоварвания и оркестрация на GPU ресурси за Kubernetes. Тя планира работни натоварвания за разработка, обучение и инференс в споделени GPU клъстери. Работи върху Kubernetes и не го заменя.
Контролната равнина обработва изпращането на работни натоварвания, управлението на ресурсите и мониторинга. Клъстерните услуги работят във всеки Kubernetes клъстер и добавят планиране с отчитане на GPU ресурсите. Потребителите имат достъп до платформата чрез уеб интерфейс, CLI, REST API и MCP сървър за AI асистенти.
Кои са 4-те модулни компонента?
NVIDIA раздели изданието на 4 компонента, които екипите могат да внедряват независимо:
- KAI Scheduler е Kubernetes-ориентиран двигател за планиране. Той е под лиценза Apache 2.0 и е проект на CNCF Sandbox. Поддържа групово планиране, справедливо споделяне на базата на времето, отчитане на топологията, bin-packing и поддръжка на DRA.
- GPU Fractioning Operator предоставя на Kubernetes нативни за CUDA 13.4 части от GPU ресурси. CUDA драйверът налага твърд лимит на паметта за всяко работно натоварване. NVIDIA прекрати използването на по-старото си патентовано разделяне на GPU ресурсите в полза на този подход. Операторът е независим от планировчика и експортира метрики за всеки pod.
- KAI Resource Management добавя проекти, отдели, квоти и пулове от възли. Примерът на NVIDIA гарантира 50% от клъстера за изследователски екип.
- Workload Map е Go библиотека, която описва типове работни натоварвания като PyTorchJob, RayCluster и KServe услуги. Тя работи офлайн и не планира, не поставя в опашка и не мащабира автоматично.
Как разработчиците могат да стартират NVIDIA Run:ai локално?
Ръководството за локална разработка се основава на един скрипт — local-dev.sh. Той компилира около 50 Go услуги от изходния код вътре в контейнери. След това създава Kind клъстер с 5 възела, фиксиран към Kubernetes v1.32.5. Фалшив GPU оператор симулира 8 Tesla-A10 GPU, така че не е необходим физически GPU хардуер.
- Поддържани хостове: macOS или Linux, на amd64 или arm64. Windows не се поддържа.
- Хостовете с Linux се нуждаят от 4 процесора, 16 GB RAM и 100 GB свободно дисково пространство.
- Podman виртуалните машини под macOS се нуждаят от поне 12 GB RAM.
- Една пълна компилация оставя около 44 GB кешове.
Флагът --gpu-operator превключва към реални NVIDIA GPU. Този режим изисква Linux, Docker и NVIDIA Container Toolkit. AMD и Intel ускорители не се поддържат.
Как екипите могат да го внедрят в продукционна среда?
Екипите за разработка могат да внедрят платформата от изходния код или чрез Helm диаграмата на NGC Community Product. Тази версия не изисква платен абонамент, но не включва корпоративна поддръжка от NVIDIA.
Екипите могат също да я възприемат чрез 8 партньори от екосистемата DSX. Това са Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud и vCluster. Поддържаните комерсиални версии продължават да се предлагат чрез NVIDIA AI Enterprise, NVIDIA Mission Control и избрани облачни пазари.
Кои свързани проекти с отворен код се предоставят заедно с него?
Два съседни проекта допълват стека. Model Streamer зарежда теглата на моделите директно в паметта на GPU. vLLM и SGLang го активират с --load-format runai_streamer.
Публикуваният бенчмарк на Microsoft използва 8 NVIDIA H100 виртуални машини. Той показа от 3 до 6 пъти по-бързо зареждане в сравнение със стандартния зареждащ механизъм. Пропускателната способност се запази на 80 Gbps спрямо около 40 Gbps при стандартния път.
Grove оркестрира инференс работни натоварвания с множество компоненти. Той стартира компоненти като предварително запълване и декодиране като неделими единици.
Как NVIDIA Run:ai се сравнява с други планировчици на Kubernetes с отворен код?
| Функция | NVIDIA Run:ai (с отворен код) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Лиценз | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Управление | Организация NVIDIA DSX AI Factory (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| Обхват | Пълна платформа: контролна равнина, потребителски интерфейс, CLI, REST API, MCP сървър | Система за пакетно планиране | Контролер за опашки от задачи | Планировчик, алтернатива на стандартния |
| Заменя kube-scheduler | Не, разширява го с KAI Scheduler | Не е разкрито | Не | Да, като алтернатива |
| Групово планиране | Да | Да | На принципа „всичко или нищо“ с изчакване | Да |
| Йерархия на квотите | Проекти, отдели, пулове от възли | Многостепенни опашки | Кохорти, справедливо споделяне | Йерархични опашки |
| Споделяне на GPU | Нативни за CUDA 13.4 части с твърди лимити на паметта | vGPU, динамичен MIG | GPU квота на базата на DRA; разделянето не е описано в общия преглед | Не е разкрито |
| Отчитане на топологията | Да | Да | Да | Не е разкрито |
| Множество клъстери | Да, чрез контролната равнина | Да | Да, MultiKueue | Не е разкрито |
| Уеб интерфейс | Да | Отделен проект за табло | Не е разкрито | Не е разкрито |
Ключовата разлика е обхватът. Volcano, Kueue и YuniKorn се фокусират върху планирането или управлението на опашки. Run:ai предоставя цялостна платформа за управление върху своя планировчик.
Основни изводи
- NVIDIA Run:ai вече е изцяло с отворен код под лиценза Apache 2.0.
- 4 компонента се предоставят самостоятелно: KAI Scheduler, GPU Fractioning, Resource Management и Workload Map.
- Разделянето на GPU ресурсите вече използва нативна за CUDA 13.4 изолация на паметта.
- Локалната разработка работи върху Kind клъстер с 5 възела и 8 симулирани GPU.
- Безплатната версия не включва корпоративна поддръжка от NVIDIA.
Разгледайте хранилището в GitHub, ръководството за локална разработка и техническия блог на NVIDIA. Всички заслуги са за изследователя на този проект. Също така, можете да ни последвате в Twitter и не забравяйте да се присъедините към нашия 150k+ ML SubReddit и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Вече можете да се присъедините към нас и в Telegram.
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.