Урок разглежда сливане и повторно използване на планове в cuDNN
Практически урок представя Graph API на NVIDIA cuDNN Frontend за описване и изпълнение на изчисления за дълбоко обучение на ниво под рамката. Операциите се подреждат в графи, а тензорите се задават чрез размери и страйдове. cuDNN може да избере двигател за изпълнение, след което урокът показва как разработчикът да контролира този избор.
Всеки пример следва петстепенен процес: валидиране, изграждане на графа от операции, създаване на планове за изпълнение, проверка за поддръжка и изграждане на плановете. Готовият граф се изпълнява с variant pack, съдържащ указатели към тензорите, а резултатите се сравняват с референтни изчисления в PyTorch на един Colab GPU.
Примерите започват със слята последователност от свивка, добавяне на bias и ReLU. Следват автоматично настройване на конфигурации на двигатели, измерване на кандидат-планове и избор на по-бърза конфигурация за често използвана форма. Разгледани са още епилози в стил FP8, scaled dot-product attention, сериализация и повторно използване на планове, динамични размери и CUDA graph capture. Урокът включва и работа с workspace, разположения на тензори и бенчмаркинг.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.