Sakhanda Wire
NVDA $153.64 -1.60% MSFT $506.98 -2.13% GOOGL $279.95 -1.33% META $620.09 -1.01% AMZN $256.57 -0.46%
← До новин

Туторіал пояснює злиття та повторне використання планів cuDNN

Практичний туторіал присвячений Graph API NVIDIA cuDNN Frontend для опису й виконання обчислень глибокого навчання на рівні нижче фреймворку. Операції подаються як граф, а тензори визначаються їхніми розмірностями та кроками. Спочатку cuDNN обирає рушій виконання, після чого матеріал показує, як розробник може керувати цим вибором.

Кожен приклад проходить п’ять етапів: перевірку, побудову графа операцій, створення планів виконання, перевірку підтримки та побудову планів. Граф запускається з variant pack, що містить вказівники на тензори. Результати порівнюються з еталонними обчисленнями PyTorch на одному GPU в Colab, щоб перевірити коректність злиття й оцінити його вартість.

Спочатку розглядається об’єднання згортки, додавання bias і ReLU в один граф. Далі пояснюється автоматичне налаштування конфігурацій рушія: усі придатні плани вимірюються, а для часто використовуваної форми даних обирається конфігурація. Наступні розділи охоплюють епілоги у стилі FP8, scaled dot-product attention, серіалізацію та повторне використання планів, динамічні форми й захоплення CUDA-графів. Окремо розглядаються робоча пам’ять, розкладки тензорів і бенчмаркінг.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини