Аллокатор GPU повысил утилизацию до 33 процентных пунктов
Команда разработала аллокатор GPU с учетом ограничений и сравнила его с планировщиком FIFO в семи сценариях. Испытания проводились на одинаковом оборудовании и с одинаковыми рабочими нагрузками. Утилизация выросла максимум на 33 процентных пункта, а приоритетно взвешенный результат увеличился во всех сценариях — максимум на 105,1%. В сценарии с преобладанием обучения утилизация поднялась с 53,6% до 87,0%, а взвешенная ценность более чем удвоилась.
В статье потери FIFO связываются с двумя решениями: резервированием GPU под максимальный суточный спрос на инференс в реальном времени и распределением оставшейся мощности в порядке поступления задач. Новый аллокатор учитывает меняющийся спрос в каждый момент и размещает пакетные нагрузки в периоды его снижения. Кроме того, он оценивает все ожидающие задачи и их приоритеты на протяжении всего горизонта планирования, сохраняя требования к непрерывным блокам GPU и не прерывая уже запущенные задачи.
Формальная модель сильнее штрафует нехватку ресурсов для инференса в реальном времени, чем размещение пакетных задач. Эвристика реализует эти ограничения в быстром режиме: задержка составила 1–2 миллисекунды в пяти сценариях с конкуренцией и 15 миллисекунд в тесте на 64 GPU и 30 задач. Там утилизация совпала с FIFO — 44,9%, но приоритетно взвешенный результат оказался выше на 15,9%.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.