Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← Към новините

Урок разглежда сливане и повторно използване на планове в cuDNN

Практически урок представя Graph API на NVIDIA cuDNN Frontend за описване и изпълнение на изчисления за дълбоко обучение на ниво под рамката. Операциите се подреждат в графи, а тензорите се задават чрез размери и страйдове. cuDNN може да избере двигател за изпълнение, след което урокът показва как разработчикът да контролира този избор.

Всеки пример следва петстепенен процес: валидиране, изграждане на графа от операции, създаване на планове за изпълнение, проверка за поддръжка и изграждане на плановете. Готовият граф се изпълнява с variant pack, съдържащ указатели към тензорите, а резултатите се сравняват с референтни изчисления в PyTorch на един Colab GPU.

Примерите започват със слята последователност от свивка, добавяне на bias и ReLU. Следват автоматично настройване на конфигурации на двигатели, измерване на кандидат-планове и избор на по-бърза конфигурация за често използвана форма. Разгледани са още епилози в стил FP8, scaled dot-product attention, сериализация и повторно използване на планове, динамични размери и CUDA graph capture. Урокът включва и работа с workspace, разположения на тензори и бенчмаркинг.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от MarkTechPost на

Прочетете оригинала в MarkTechPost ↗

Репортажът и изображението принадлежат на MarkTechPost и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини