Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← К новостям

Туториал показывает слияние и повторное использование планов cuDNN

Практический туториал посвящён Graph API NVIDIA cuDNN Frontend для описания и выполнения вычислений глубокого обучения на уровне ниже фреймворка. Операции представляются в виде графа, а тензоры задаются их размерностями и шагами. Сначала cuDNN выбирает движок выполнения, затем материал показывает, как разработчик может управлять этим выбором.

Для каждого примера применяется пятиэтапная процедура: проверка, построение графа операций, создание планов выполнения, проверка поддержки и сборка планов. Граф запускается с variant pack, содержащим указатели на тензоры. Каждый результат сопоставляется с эталоном PyTorch на одном GPU в Colab, чтобы одновременно проверить корректность слияния и его стоимость.

Сначала разбирается объединение свёртки, добавления bias и ReLU в один граф. Затем рассматриваются автоматическая настройка конфигураций движка, измерение всех подходящих планов и выбор конфигурации для часто используемой формы данных. В следующих разделах показаны эпилоги в стиле FP8, scaled dot-product attention, сериализация и повторное использование планов, динамические формы и захват CUDA-графов. Также рассматриваются рабочая память, размещение тензоров и измерение производительности.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости