Навчальний приклад демонструє ієрархічний NeRF із JAX3D
Навчальний матеріал описує наскрізний конвеєр ієрархічного Neural Radiance Field (NeRF) для об’ємного рендерингу, синтезу нових ракурсів і 3D-реконструкції. Спочатку формується синтетичний набір даних із кількома видами аналітичної сцени, що містить об’ємну геометрію та випромінювання, залежне від напрямку огляду. Для прямого рендерингу використовуються примітиви JAX3D sample_along_rays і volume_rendering.
Реалізація спирається на JAX, Flax і Optax. Модель має позиційне кодування, пропускові з’єднання, окремі coarse- і fine-мережі та врахування напрямку погляду під час обчислення кольору. Ієрархічне важливісне семплювання виконується через sample_piecewise_constant_pdf. Навчання поєднує JAX JIT-компіляцію, оптимізацію Adam, експоненційне зменшення швидкості навчання та обмеження градієнтів.
Оцінювання охоплює PSNR для синтезу нових ракурсів, візуалізацію глибини й прозорості, діагностику семплювання, рендеринг із оглядом на 360 градусів і вилучення геометрії за допомогою marching cubes. Код також встановлює потрібні залежності та адаптує параметри навчання для GPU або CPU.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.