Туторіал пояснює злиття та повторне використання планів cuDNN
Практичний туторіал присвячений Graph API NVIDIA cuDNN Frontend для опису й виконання обчислень глибокого навчання на рівні нижче фреймворку. Операції подаються як граф, а тензори визначаються їхніми розмірностями та кроками. Спочатку cuDNN обирає рушій виконання, після чого матеріал показує, як розробник може керувати цим вибором.
Кожен приклад проходить п’ять етапів: перевірку, побудову графа операцій, створення планів виконання, перевірку підтримки та побудову планів. Граф запускається з variant pack, що містить вказівники на тензори. Результати порівнюються з еталонними обчисленнями PyTorch на одному GPU в Colab, щоб перевірити коректність злиття й оцінити його вартість.
Спочатку розглядається об’єднання згортки, додавання bias і ReLU в один граф. Далі пояснюється автоматичне налаштування конфігурацій рушія: усі придатні плани вимірюються, а для часто використовуваної форми даних обирається конфігурація. Наступні розділи охоплюють епілоги у стилі FP8, scaled dot-product attention, серіалізацію та повторне використання планів, динамічні форми й захоплення CUDA-графів. Окремо розглядаються робоча пам’ять, розкладки тензорів і бенчмаркінг.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.