Алокатор GPU підвищив завантаження до 33 відсоткових пунктів
Команда розробила алокатор GPU, що враховує обмеження, і порівняла його з планувальником FIFO у семи сценаріях. Тести проводилися на однаковому обладнанні з однаковими робочими навантаженнями. Завантаження зросло максимум на 33 відсоткові пункти, а пріоритетно зважений результат збільшився в кожному сценарії — максимум на 105,1%. У сценарії з переважанням навчання завантаження піднялося з 53,6% до 87,0%, а зважена цінність зросла більш ніж удвічі.
У статті втрати FIFO пояснюються двома рішеннями: резервуванням GPU під максимальний добовий попит на інференс у реальному часі та розподілом решти потужностей у порядку надходження завдань. Новий алокатор враховує змінний попит у кожен момент і розміщує пакетні навантаження в періоди його зниження. Він також оцінює всі завдання в черзі та їхні пріоритети протягом усього горизонту планування, зберігаючи вимоги до безперервних блоків GPU й не перериваючи вже запущені завдання.
Формальна модель сильніше штрафує нестачу ресурсів для інференсу в реальному часі, ніж розміщення пакетних завдань. Евристика реалізує ці обмеження у швидкому режимі: затримка становила 1–2 мілісекунди у п’яти сценаріях із конкуренцією та 15 мілісекунд у тесті на 64 GPU і 30 завдань. Там завантаження збіглося з FIFO — 44,9%, але пріоритетно зважений результат був на 15,9% вищим.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.