Урок показва йерархичен NeRF процес с JAX3D
Урок представя цялостен процес с йерархично Neural Radiance Field (NeRF) за обемно изобразяване, синтез на нови гледни точки и 3D реконструкция. В началото се създава синтетичен набор от многократни изгледи на аналитична сцена, която съчетава обемна геометрия и зависимо от гледната точка излъчване. Примитивите sample_along_rays и volume_rendering от JAX3D се използват за основния процес на рендиране.
Реализацията разчита на JAX, Flax и Optax. Моделът включва позиционно кодиране, пропускащи връзки, отделни coarse и fine мрежи и подаване на посоката на гледане към изчисляването на цвета. Йерархичното важно семплиране се извършва чрез sample_piecewise_constant_pdf. Обучението използва JAX JIT компилация, оптимизация с Adam, експоненциално намаляване на скоростта на обучение и ограничаване на градиентите.
Оценяването обхваща PSNR при синтез на нови изгледи, визуализация на дълбочина и непрозрачност, диагностика на семплирането, 360-градусово рендиране и извличане на геометрия чрез marching cubes. Кодът подготвя зависимостите и настройва параметрите според наличието на GPU или CPU.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.