NVIDIA открыла исходный код Run:ai по лицензии Apache 2.0 для оркестрации GPU в Kubernetes
NVIDIA выпустила полную платформу NVIDIA Run:ai в качестве программного обеспечения с открытым исходным кодом. Исходный код опубликован на GitHub под лицензией Apache 2.0. NVIDIA Run:ai с открытым исходным кодом передаёт разработчикам производственное планирование GPU, квоты и управление рабочими нагрузками. Этот выпуск делает Run:ai частью платформы NVIDIA DSX AI Factory. Теперь команды, отвечающие за платформу, могут проверять, форкать и самостоятельно размещать стек без платной подписки.
Кратко
- Размер: Монорепозиторий с плоскостью управления, сервисами кластера, установщиком, CLI и MCP-сервером. Локальная сборка включает около 50 сервисов на Go.
- Работает на: Кластерах Kubernetes или OpenShift с GPU NVIDIA. Локальная разработка запускается на macOS или Linux с 8 эмулируемыми GPU Tesla-A10, GPU не требуется.
- Производительность: NVIDIA не опубликовала платформенный бенчмарк для этого выпуска.
- Лучший результат: Связанный Model Streamer загружал модели в 3–6 раз быстрее на 8 виртуальных машинах NVIDIA H100 в Azure.
- Худший результат: Версия для сообщества не включает корпоративную поддержку NVIDIA. Для локальной сборки в Linux требуется 16 ГБ ОЗУ и 100 ГБ дискового пространства.
Что такое NVIDIA Run:ai?
NVIDIA Run:ai — это платформа NVIDIA для управления рабочими нагрузками ИИ и оркестрации GPU в Kubernetes. Она планирует задачи разработки, обучения и инференса в общих кластерах GPU. Платформа работает поверх Kubernetes и не заменяет его.
Плоскость управления отвечает за отправку рабочих нагрузок, управление ресурсами и мониторинг. Сервисы кластера запускаются в каждом кластере Kubernetes и добавляют планирование с учётом GPU. Пользователи взаимодействуют с платформой через веб-интерфейс, CLI, REST API и MCP-сервер для ИИ-ассистентов.
Каковы 4 модульных компонента?
NVIDIA разделила выпуск на 4 компонента, которые команды могут внедрять независимо:
- KAI Scheduler — механизм планирования, нативный для Kubernetes. Он распространяется под лицензией Apache 2.0 и является проектом CNCF Sandbox. Он поддерживает групповое планирование, справедливое распределение по времени, учёт топологии, упаковку рабочих нагрузок и DRA.
- GPU Fractioning Operator добавляет в Kubernetes нативное для CUDA 13.4 дробление GPU. Драйвер CUDA устанавливает жёсткий лимит памяти для каждой рабочей нагрузки. NVIDIA отказалась от более старого проприетарного механизма дробления в пользу этого подхода. Оператор не зависит от планировщика и экспортирует метрики для каждого пода.
- KAI Resource Management добавляет проекты, отделы, квоты и пулы узлов. В примере NVIDIA исследовательской команде гарантируется 50% кластера.
- Workload Map — библиотека на Go, описывающая типы рабочих нагрузок, такие как PyTorchJob, RayCluster и сервисы KServe. Она работает офлайн и не выполняет планирование, постановку в очередь или автомасштабирование.
Как разработчики запускают NVIDIA Run:ai локально?
Руководство по локальной разработке основано на одном скрипте — local-dev.sh. Он собирает около 50 сервисов на Go из исходного кода внутри контейнеров. Затем он создаёт пятиузловой кластер Kind с Kubernetes v1.32.5. Фиктивный оператор GPU эмулирует 8 GPU Tesla-A10, поэтому физическое GPU-оборудование не требуется.
- Поддерживаемые хосты: macOS или Linux на amd64 или arm64. Windows не поддерживается.
- Хостам Linux требуются 4 процессора, 16 ГБ ОЗУ и 100 ГБ свободного дискового пространства.
- Виртуальным машинам Podman на macOS требуется не менее 12 ГБ ОЗУ.
- После полной сборки остаётся около 44 ГБ кэшей.
Флаг --gpu-operator переключает систему на реальные GPU NVIDIA. Для этого режима нужны Linux, Docker и NVIDIA Container Toolkit. Ускорители AMD и Intel не поддерживаются.
Как команды могут развернуть платформу в рабочей среде?
Команды разработчиков могут развернуть платформу из исходного кода или с помощью Helm-чарта NGC Community Product. Эта версия не требует платной подписки, но не включает корпоративную поддержку NVIDIA.
Команды также могут внедрить платформу через 8 партнёров экосистемы DSX. Это Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud и vCluster. Поддерживаемые коммерческие версии по-прежнему доступны через NVIDIA AI Enterprise, NVIDIA Mission Control и отдельные облачные маркетплейсы.
Какие связанные проекты с открытым исходным кодом поставляются вместе с платформой?
Два смежных проекта дополняют стек. Model Streamer загружает веса моделей напрямую в память GPU. vLLM и SGLang включают эту возможность с помощью --load-format runai_streamer.
Опубликованный Microsoft бенчмарк использовал 8 виртуальных машин NVIDIA H100. Он показал загрузку в 3–6 раз быстрее по сравнению с загрузчиком по умолчанию. Пропускная способность сохранялась на уровне 80 Гбит/с против примерно 40 Гбит/с в стандартном режиме.
Grove оркестрирует многокомпонентные рабочие нагрузки инференса. Он запускает такие компоненты, как prefill и decode, как единые неделимые блоки.
Как NVIDIA Run:ai сравнивается с другими планировщиками Kubernetes с открытым исходным кодом?
| Функция | NVIDIA Run:ai (открытый исходный код) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Управление | Организация NVIDIA DSX AI Factory (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| Область применения | Полная платформа: плоскость управления, интерфейс, CLI, REST API, MCP-сервер | Система пакетного планирования | Контроллер постановки заданий в очередь | Планировщик, альтернатива стандартному |
| Заменяет kube-scheduler | Нет, расширяет его с помощью KAI Scheduler | Не раскрыто | Нет | Да, в качестве альтернативы |
| Групповое планирование | Да | Да | На основе тайм-аутов, по принципу «всё или ничего» | Да |
| Иерархия квот | Проекты, отделы, пулы узлов | Многоуровневые очереди | Когорты, справедливое распределение | Иерархические очереди |
| Совместное использование GPU | Нативное для CUDA 13.4 дробление с жёсткими лимитами памяти | vGPU, динамический MIG | Квота GPU на основе DRA; дробление в обзоре не указано | Не раскрыто |
| Учёт топологии | Да | Да | Да | Не раскрыто |
| Мультикластерность | Да, через плоскость управления | Да | Да, MultiKueue | Не раскрыто |
| Веб-интерфейс | Да | Отдельный проект панели мониторинга | Не раскрыто | Не раскрыто |
Ключевое различие заключается в области применения. Volcano, Kueue и YuniKorn сосредоточены на планировании или постановке в очередь. Run:ai поставляется как полноценная платформа управления поверх собственного планировщика.
Ключевые выводы
- NVIDIA Run:ai теперь полностью распространяется под лицензией Apache 2.0 с открытым исходным кодом.
- 4 компонента поставляются отдельно: KAI Scheduler, GPU Fractioning, Resource Management, Workload Map.
- Дробление GPU теперь использует нативную для CUDA 13.4 изоляцию памяти.
- Локальная разработка выполняется в пятиузловом кластере Kind с 8 эмулируемыми GPU.
- Бесплатная версия не включает корпоративную поддержку NVIDIA.
Ознакомьтесь с репозиторием на GitHub, руководством по локальной разработке и техническим блогом NVIDIA. Вся благодарность принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы пользуетесь Telegram? теперь к нам можно присоединиться и в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.