Почему ИИ-задачи ждут рядом с якобы свободными GPU
Показатель загрузки GPU обычно отражает долю активных потоковых мультипроцессоров за определённый интервал. Он не показывает, выделено ли устройство и доступна ли его VRAM для другой задачи. Модель, обслуживающая редкие запросы, может давать 5% вычислительной активности, при этом GPU и память остаются занятыми. Kubernetes обычно передаёт целый GPU одному pod, поэтому другая задача ждёт, хотя устройство выглядит почти незагруженным.