Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← К новостям

Аллокатор GPU повысил утилизацию до 33 процентных пунктов

Команда разработала аллокатор GPU с учетом ограничений и сравнила его с планировщиком FIFO в семи сценариях. Испытания проводились на одинаковом оборудовании и с одинаковыми рабочими нагрузками. Утилизация выросла максимум на 33 процентных пункта, а приоритетно взвешенный результат увеличился во всех сценариях — максимум на 105,1%. В сценарии с преобладанием обучения утилизация поднялась с 53,6% до 87,0%, а взвешенная ценность более чем удвоилась.

В статье потери FIFO связываются с двумя решениями: резервированием GPU под максимальный суточный спрос на инференс в реальном времени и распределением оставшейся мощности в порядке поступления задач. Новый аллокатор учитывает меняющийся спрос в каждый момент и размещает пакетные нагрузки в периоды его снижения. Кроме того, он оценивает все ожидающие задачи и их приоритеты на протяжении всего горизонта планирования, сохраняя требования к непрерывным блокам GPU и не прерывая уже запущенные задачи.

Формальная модель сильнее штрафует нехватку ресурсов для инференса в реальном времени, чем размещение пакетных задач. Эвристика реализует эти ограничения в быстром режиме: задержка составила 1–2 миллисекунды в пяти сценариях с конкуренцией и 15 миллисекунд в тесте на 64 GPU и 30 задач. Там утилизация совпала с FIFO — 44,9%, но приоритетно взвешенный результат оказался выше на 15,9%.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости