Sakhanda Wire
NVDA $152.94 -2.05% MSFT $505.64 -2.38% GOOGL $280.11 -1.27% META $619.47 -1.11% AMZN $256.54 -0.47%
← Към новините

GPU алокатор увеличава използваемостта с до 33 процентни пункта

Екип разработи алокатор за GPU, съобразен с ограниченията, и го сравни с FIFO планировчик в седем benchmark сценария. Тестовете са проведени с еднакъв хардуер и еднакви работни натоварвания. Използваемостта се е увеличила с до 33 процентни пункта, а приоритетно претеглената продукция е нараснала във всички сценарии, с максимум 105,1%. При натоварване, доминирано от обучение, използваемостта се е повишила от 53,6% на 87,0%, а претеглената стойност се е увеличила повече от два пъти.

Според статията загубите при FIFO идват от две решения: резервиране на достатъчно GPU за максималното дневно търсене на инференция в реално време и разпределяне на останалия капацитет само по реда на постъпване. Новият алокатор разглежда търсенето в реално време като променливо и поставя пакетните задачи в периодите с по-ниско търсене. Той отчита и приоритетите на всички чакащи задачи в целия времеви хоризонт, като запазва изискванията за непрекъснати блокове и не прекъсва вече започнали задачи.

Формалният модел санкционира недостига при реално-времевия инференс по-силно от разпределянето на пакетни задачи. Евристика изпълнява ограниченията в бързия режим: латентността е 1–2 милисекунди в петте конкурентни теста и 15 милисекунди при 64 GPU и 30 задачи. В този мащаб използваемостта е същата като при FIFO — 44,9%, но претеглената продукция е с 15,9% по-висока.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини