NVIDIA відкрила вихідний код Run:ai за ліцензією Apache 2.0 для оркестрації GPU в Kubernetes
NVIDIA випустила повну платформу NVIDIA Run:ai як програмне забезпечення з відкритим кодом. Вихідний код опубліковано на GitHub за ліцензією Apache 2.0. Відкритий код NVIDIA Run:ai передає планування GPU у виробничих середовищах, квоти та керування робочими навантаженнями до рук розробників. Завдяки цьому випуску Run:ai стала частиною платформи NVIDIA DSX AI Factory. Тепер команди, що керують платформами, можуть перевіряти, розгалужувати та самостійно розгортати стек без платної підписки.
Коротко
- Розмір: Монорепозиторій із площиною керування, сервісами кластера, інсталятором, CLI та MCP-сервером. Локальне середовище розробки збирає близько 50 сервісів на Go.
- Працює на: кластерах Kubernetes або OpenShift із GPU NVIDIA. Локальне середовище працює на macOS або Linux і містить 8 симульованих GPU Tesla-A10, тому GPU не потрібен.
- Продуктивність: NVIDIA не опублікувала загальноплатформний бенчмарк для цього випуску.
- Найкраще: Пов’язаний Model Streamer завантажував моделі у 3–6 разів швидше на 8 віртуальних машинах NVIDIA H100 в Azure.
- Найгірше: Community Edition не має корпоративної підтримки NVIDIA. Для локальної збірки в Linux потрібно 16 ГБ оперативної пам’яті та 100 ГБ дискового простору.
Що таке NVIDIA Run:ai?
NVIDIA Run:ai — це платформа NVIDIA для керування робочими навантаженнями ШІ та оркестрації GPU у Kubernetes. Вона планує робочі навантаження для розробки, навчання та інференсу в спільних кластерах GPU. Платформа працює поверх Kubernetes і не замінює його.
Площина керування відповідає за надсилання робочих навантажень, керування ресурсами та моніторинг. Сервіси кластера працюють у кожному кластері Kubernetes і додають планування з урахуванням GPU. Користувачі взаємодіють із платформою через вебінтерфейс, CLI, REST API та MCP-сервер для AI-асистентів.
Які є 4 модульні компоненти?
NVIDIA розділила випуск на 4 компоненти, які команди можуть впроваджувати незалежно:
- KAI Scheduler — механізм планування, нативний для Kubernetes. Він поширюється за ліцензією Apache 2.0 і є проєктом CNCF Sandbox. Він підтримує групове планування, справедливий розподіл за часом, врахування топології, пакування в контейнери та DRA.
- GPU Fractioning Operator додає до Kubernetes нативне для CUDA 13.4 дроблення GPU. Драйвер CUDA встановлює жорстке обмеження пам’яті для кожного робочого навантаження. NVIDIA відмовилася від старішого пропрієтарного дроблення на користь цього підходу. Оператор не залежить від планувальника та експортує метрики для кожного поду.
- KAI Resource Management додає проєкти, відділи, квоти та пули вузлів. Приклад NVIDIA гарантує дослідницькій команді 50% кластера.
- Workload Map — бібліотека на Go, яка описує типи робочих навантажень, як-от PyTorchJob, RayCluster і сервіси KServe. Вона працює офлайн і не виконує планування, постановку в чергу чи автоматичне масштабування.
Як розробникам локально запустити NVIDIA Run:ai?
Посібник із локальної розробки базується на одному скрипті — local-dev.sh. Він збирає близько 50 сервісів на Go з вихідного коду всередині контейнерів. Потім він створює 5-вузловий кластер Kind із Kubernetes v1.32.5. Фіктивний оператор GPU симулює 8 GPU Tesla-A10, тому апаратне забезпечення GPU не потрібне.
- Підтримувані хост-системи: macOS або Linux на amd64 чи arm64. Windows не підтримується.
- Хост-системам Linux потрібно 4 процесори, 16 ГБ оперативної пам’яті та 100 ГБ вільного дискового простору.
- Віртуальним машинам Podman на macOS потрібно щонайменше 12 ГБ оперативної пам’яті.
- Після однієї повної збірки залишається близько 44 ГБ кешу.
Прапорець --gpu-operator перемикає систему на реальні GPU NVIDIA. Для цього режиму потрібні Linux, Docker і NVIDIA Container Toolkit. Прискорювачі AMD та Intel не підтримуються.
Як команди можуть розгорнути її у виробничому середовищі?
Команди розробників можуть розгорнути платформу з вихідного коду або за допомогою Helm-чарту NGC Community Product. Ця редакція не потребує платної підписки, але не включає корпоративну підтримку NVIDIA.
Команди також можуть впровадити її через 8 партнерів екосистеми DSX. Це Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud і vCluster. Підтримувані комерційні редакції й надалі доступні через NVIDIA AI Enterprise, NVIDIA Mission Control і окремі хмарні маркетплейси.
Які пов’язані проєкти з відкритим кодом постачаються разом із платформою?
Два суміжні проєкти доповнюють стек. Model Streamer передає ваги моделей безпосередньо в пам’ять GPU. vLLM і SGLang активують цю функцію за допомогою --load-format runai_streamer.
Опублікований Microsoft бенчмарк використовував 8 віртуальних машин NVIDIA H100. Він показав завантаження у 3–6 разів швидше порівняно зі стандартним завантажувачем. Пропускна здатність становила 80 Гбіт/с проти приблизно 40 Гбіт/с у стандартному режимі.
Grove оркеструє багатокомпонентні робочі навантаження для інференсу. Він запускає такі компоненти, як попереднє заповнення та декодування, як неподільні блоки.
Як NVIDIA Run:ai порівнюється з іншими планувальниками Kubernetes із відкритим кодом?
| Функція | NVIDIA Run:ai (відкритий код) | Volcano | Kueue | Apache YuniKorn |
|---|---|---|---|---|
| Ліцензія | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| Управління | Організація NVIDIA DSX AI Factory (KAI Scheduler: CNCF Sandbox) | CNCF Incubating | kubernetes-sigs (wg-batch) | Apache Software Foundation |
| Сфера застосування | Повна платформа: площина керування, UI, CLI, REST API, MCP-сервер | Система планування пакетних завдань | Контролер черги завдань | Планувальник, альтернатива стандартному |
| Замінює kube-scheduler | Ні, розширює його за допомогою KAI Scheduler | Не розкрито | Ні | Так, як альтернатива |
| Групове планування | Так | Так | На основі тайм-ауту, неподільне | Так |
| Ієрархія квот | Проєкти, відділи, пули вузлів | Багаторівневі черги | Когорти, справедливий розподіл | Ієрархічні черги |
| Спільне використання GPU | Нативне для CUDA 13.4 дроблення з жорсткими обмеженнями пам’яті | vGPU, динамічний MIG | Квота GPU на основі DRA; дроблення не описане в огляді | Не розкрито |
| Врахування топології | Так | Так | Так | Не розкрито |
| Мультикластерність | Так, через площину керування | Так | Так, MultiKueue | Не розкрито |
| Вебінтерфейс | Так | Окремий проєкт інформаційної панелі | Не розкрито | Не розкрито |
Ключова відмінність — сфера застосування. Volcano, Kueue та YuniKorn зосереджені на плануванні або постановці в чергу. Run:ai постачається як повна платформа керування поверх свого планувальника.
Основні висновки
- NVIDIA Run:ai тепер повністю доступна за ліцензією Apache 2.0.
- Окремо постачаються 4 компоненти: KAI Scheduler, GPU Fractioning, Resource Management, Workload Map.
- Дроблення GPU тепер використовує нативну для CUDA 13.4 ізоляцію пам’яті.
- Локальне середовище працює в 5-вузловому кластері Kind із 8 симульованими GPU.
- Безкоштовна редакція не включає корпоративну підтримку NVIDIA.
Перегляньте репозиторій на GitHub, посібник із локальної розробки і технічний блог NVIDIA. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту про машинне навчання з понад 150 тисячами учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.