Туториал показывает слияние и повторное использование планов cuDNN
Практический туториал посвящён Graph API NVIDIA cuDNN Frontend для описания и выполнения вычислений глубокого обучения на уровне ниже фреймворка. Операции представляются в виде графа, а тензоры задаются их размерностями и шагами. Сначала cuDNN выбирает движок выполнения, затем материал показывает, как разработчик может управлять этим выбором.
Для каждого примера применяется пятиэтапная процедура: проверка, построение графа операций, создание планов выполнения, проверка поддержки и сборка планов. Граф запускается с variant pack, содержащим указатели на тензоры. Каждый результат сопоставляется с эталоном PyTorch на одном GPU в Colab, чтобы одновременно проверить корректность слияния и его стоимость.
Сначала разбирается объединение свёртки, добавления bias и ReLU в один граф. Затем рассматриваются автоматическая настройка конфигураций движка, измерение всех подходящих планов и выбор конфигурации для часто используемой формы данных. В следующих разделах показаны эпилоги в стиле FP8, scaled dot-product attention, сериализация и повторное использование планов, динамические формы и захват CUDA-графов. Также рассматриваются рабочая память, размещение тензоров и измерение производительности.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.