Учебный пример показывает иерархический NeRF с JAX3D
Учебный материал описывает полный конвейер иерархического Neural Radiance Field (NeRF) для объемного рендеринга, синтеза новых ракурсов и 3D-реконструкции. Сначала создается синтетический набор данных с несколькими видами аналитической сцены, содержащей объемную геометрию и зависящее от направления наблюдения излучение. Для прямого рендеринга применяются примитивы JAX3D sample_along_rays и volume_rendering.
Модель реализована с использованием JAX, Flax и Optax. В нее входят позиционное кодирование, пропусковые соединения, отдельные coarse- и fine-сети, а также учет направления взгляда при формировании изображения. Иерархическая выборка важных участков выполняется с помощью sample_piecewise_constant_pdf. Обучение опирается на JAX JIT-компиляцию, оптимизатор Adam, экспоненциальное снижение скорости обучения и ограничение градиентов.
Для проверки результата рассматриваются PSNR при синтезе новых видов, визуализация глубины и прозрачности, диагностика распределения образцов, рендеринг с обзором на 360 градусов и извлечение геометрии методом marching cubes. Пример также устанавливает зависимости и предусматривает параметры для работы на GPU или CPU.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.