【论文笔记】PlenOctrees for Real-time Rendering of Neural Radiance Fields

PlenOctrees for Real-time Rendering of Neural Radiance Fields

paper
code

My Comment

该论文是结合了图形渲染领域常用的球谐函数(SH, Spherical Harmonics)和NeRF来建模的。
首先应该了解NeRF.
其次，应该读懂什么是球谐函数或者球面高斯函数.
然后，我们都知道NeRF将ray marching上的x位置处的光照建模为density $\sigma$ 和 color $c$.
在该论文中作者使用SH来建模位置x处的各个方向的光照情况，简单来说球谐函数可表示为多个基函数相加的形式，将所有基函数前面的系数拎出来就是所说的球谐函数的系数。这个系数是通过网络来拟合得到的，有了系数k，就得到了x处的球谐函数，在渲染阶段就可以通过查询在某个角度的球谐函数结果来得到该位置在某个方向上的RGB的光照亮度，从而得到color。
结果来说，渲染速度可提升3000x多(因为不像NeRF那样到渲染阶段还要计算density和$\Sigma$ ray marching上的各点)，这种只要查询即可得到结果因此速度很快。

m是基函数的阶数
l 是degree, k就是每个基函数的系数组合

之所以用SG(球面高斯函数)来代替SH，是因为SG的自由度更高，并且它是可学习的。