Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← До новин

Алокатор GPU підвищив завантаження до 33 відсоткових пунктів

Команда розробила алокатор GPU, що враховує обмеження, і порівняла його з планувальником FIFO у семи сценаріях. Тести проводилися на однаковому обладнанні з однаковими робочими навантаженнями. Завантаження зросло максимум на 33 відсоткові пункти, а пріоритетно зважений результат збільшився в кожному сценарії — максимум на 105,1%. У сценарії з переважанням навчання завантаження піднялося з 53,6% до 87,0%, а зважена цінність зросла більш ніж удвічі.

У статті втрати FIFO пояснюються двома рішеннями: резервуванням GPU під максимальний добовий попит на інференс у реальному часі та розподілом решти потужностей у порядку надходження завдань. Новий алокатор враховує змінний попит у кожен момент і розміщує пакетні навантаження в періоди його зниження. Він також оцінює всі завдання в черзі та їхні пріоритети протягом усього горизонту планування, зберігаючи вимоги до безперервних блоків GPU й не перериваючи вже запущені завдання.

Формальна модель сильніше штрафує нестачу ресурсів для інференсу в реальному часі, ніж розміщення пакетних завдань. Евристика реалізує ці обмеження у швидкому режимі: затримка становила 1–2 мілісекунди у п’яти сценаріях із конкуренцією та 15 мілісекунд у тесті на 64 GPU і 30 завдань. Там завантаження збіглося з FIFO — 44,9%, але пріоритетно зважений результат був на 15,9% вищим.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини