辐射神经场算法——Wild-NeRF / Mipi-NeRF / BARF / NSVF / Semantic-NeRF / DSNeRF

辐射神经场算法——NeRF++ / Wild-NeRF / Mip-NeRF / BARF /NSVF / Semantic-NeRF / DSNeRF

原始的NeRF虽然效果很惊艳，但是其一个场景少则一两天的训练速度，以及对于输入图像质量和位姿的要求却不尽人意，因此，在NeRF提出来很短的时间内就衍生出了各种基于NeRF优化的方法，本文主要是对这些方法进行一个简单总结，但是建议先了解原始NeRF的算法原理再来阅读本博客，对于原始NeRF算法的介绍可以参考博客辐射神经场算法——NeRF算法详解

1. NeRF++

NeRF++原论文名为《NeRF++: Analyzing and Improving Nerual Radiance Fileds》，该论文主要包括两部分：一部分是分析了原始NeRF具备的Shape-Radiance Ambiguity问题，另一部分是提出了一个解决室外360度开放场景的渲染方案。

首先针对Shape-Radiance Ambiguity问题，作者做了如下一个实验：

作者先使用一个球形的模型去训练NeRF中的$\sigma$，然后再使用上左中的GT training view去训练NeRF中的$\mathbf{c}$，在相同视角下进行预测时发现即使在错误的$\sigma$分布下仍然能输出较好的图像质量，但是一旦更换视角（GT test view）就会输出如上左图的结果。造成该现象的原因正是View-Dependent的网络设计。但是如果我们一旦修改网络设计，将采样点的位置$x$和方向$\mathbf{d}$都从网络的第一层输入的话，网络整体效果就会下降，如下图所示：

文章的第二部分介绍的室外360度开放场景的一种解决方案，在原始NeRF中，对于Front-View的开放场景，使用的一种名为NDT坐标系的方式（可以简单理解为逆深度），但是对于360度的开放场景NDT坐标系是搞不定的，因此作者提出了将360度开放场景的渲染分为两部分通过两个NeRF进行渲染，如下所示：

规定一个球体$B=\left\{(x,y,z):\sqrt{x^2+y^2+z^2}=1\right\}$:
球体内保持欧拉坐标系$(x,y,z)$，使用原始的NeRF用于渲染前景部分;
球体外通过一个四维向量$\left(x^{\prime },y^{\prime },z^{\prime },1/r\right)$表示，用于渲染背景部分，其中$x^{\prime 2}+y^{\prime 2}+z^{\prime 2}=1$用于表示方向，$0<1/r<1$用于表示距离，并且$x^{\prime },y^{\prime },z^{\prime }\in [-1,1],1/r\in [0,1]$，用于进行背景渲染的NeRF输入为$\left(x^{\prime },y^{\prime },z^{\prime },1/r\right)$，输出则是${\sigma }_{\text{out }},{\mathbf{c}}_{\text{out }}$.

那么接下来的问题就是当我们给定一个像素的射线$\mathbf{r}=\mathbf{o}+t\mathbf{d}$，当采样点位于球体外时如何求得四维向量$\left(x^{\prime },y^{\prime },z^{\prime },1/r\right)$呢？如下图所示：

我们给定不同采样点$\mathbf{p}$得到不同的半径$r$，那么如果获得$x^{\prime },y^{\prime },z^{\prime }$呢？上图中点$\mathbf{a}=\mathbf{o}+t_a\mathbf{d}$，我们令$\left|\mathbf{o}+t_a\mathbf{d}\right|=1$就可以求得点$\mathbf{a}$的坐标，同理点$\mathbf{b}=\mathbf{o}+t_b\mathbf{d}$可以通过${\mathbf{d}}^T\left(\mathbf{o}+t_b\mathbf{d}\right)=0$求得，那么我们根据$\omega =\arcsin |\mathbf{b}|-\arcsin \left(|\mathbf{b}|\cdot \frac{1}{r}\right)$即可以对点$\mathbf{a}$方向进行渲染既可以得到点$\mathbf{p}$的方向$x^{\prime },y^{\prime },z^{\prime }$，其实就是一个很简单的几何求解。解决了这个问题后就可以给出最后NeRF++的计算公式：
C ( r ) = ∫ t = 0 t ′ σ ( o + t d ) ⋅ c ( o + t d , d ) ⋅ e − ∫ s = 0 t σ ( o + s d ) d s d t ⏟ (i)  + e − ∫ s = 0 t ′ σ ( o + s d ) d s ⏟ (ii)  ⋅ ∫ t = t ′ ∞ σ ( o + t d ) ⋅ c ( o + t d , d ) ⋅ e − ∫ s = t ′ t σ ( o + s d ) d s d t ⏟ (iii)  .

$$\begin{aligned} \mathbf{C}(\mathbf{r})=& \underbrace{\int_{t=0}^{t^{\prime}} \sigma(\mathbf{o}+t \mathbf{d}) \cdot \mathbf{c}(\mathbf{o}+t \mathbf{d}, \mathbf{d}) \cdot e^{-\int_{s=0}^{t} \sigma(\mathbf{o}+s \mathbf{d}) d s} d t}_{\text {(i) }} \\ &+\underbrace{e^{-\int_{s=0}^{t^{\prime}} \sigma(\mathbf{o}+s \mathbf{d}) d s}}_{\text {(ii) }} \cdot \underbrace{\int_{t=t^{\prime}}^{\infty} \sigma(\mathbf{o}+t \mathbf{d}) \cdot \mathbf{c}(\mathbf{o}+t \mathbf{d}, \mathbf{d}) \cdot e^{-\int_{s=t^{\prime}}^{t} \sigma(\mathbf{o}+s \mathbf{d}) d s} d t}_{\text {(iii) }} . \end{aligned}$$ C(r)=​(i)  ∫t=0t′​σ(o+td)⋅c(o+td,d)⋅e−∫s=0t​σ(o+sd)dsdt​​+(ii)  e−∫s=0t′​σ(o+sd)ds​​⋅(iii)  ∫t=t′∞​σ(o+td)⋅c(o+td,d)⋅e−∫s=t′t​σ(o+sd)dsdt​​.​从公式可以看出，背景和前景会分别渲染，然后背景会作为一个固定值加入到前景中，如下图所示：

2. Wild-NeRF

Wild-NeRF提出于2021年CVPR，原论文名称为《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》，Wild指的是室外场景，该论文主要解决的是原始NeRF在室外场景应用遇到的两个问题

1. Variable Illumination：这个指的是，原始NeRF算法对于输入图片要求是光照条件具备一致性，而在室外的数据集上这一点是很难保证的，为此作者在原始MLP网络的基础上增加了Latent Appearance Modeling部分；
2. Transition Occluders：这个指的是，在室外场景中拍摄经常会遇到动态物体这遮挡，在原始NeRF则是假设所有物体都是静止的，为此作者在原来MLP输出Intensity和Color的基础上增加了和动态物体相关的Trainsition Intensity和Transition Color。

因此Wild-NeRF的MLP网络结构如下图所示：

其中$XYZ$和$\theta \varphi$为原始NeRF的输入，$l^{(a)}$为新增的Lantent Appearance Modeling部分，其实就是针对每一张图片输入一个长度的$N$维的向量来描述该图片的光照条件，而$l^{(\tau )}$则是另外一个$N$维的向量来描述该图片Transition部分的情况。$l^{(a)}$和$l^{(\tau )}$都属于Generative Latent Code技术中的Latent Code。

从图中我们可以看到，除了增加$l^{(a)}$和$l^{(\tau )}$，网络还多输出了Transition Color ${\sigma }_i^{(\tau )}(t)$和Transition Intensity ${\mathbf{c}}_i^{(\tau )}(t)$以及一个用于描述不确定度的量$\beta$，${\sigma }_i^{(\tau )}(t)$和${\mathbf{c}}_i^{(\tau )}(t)$参与颜色积分，如下所示：$${\hat{\mathbf{C}}}_i(\mathbf{r})=\sum _{k=1}^K{T}_i\left(t_k\right)\left(\alpha \left(\sigma \left(t_k\right){\delta }_k\right){\mathbf{c}}_i\left(t_k\right)+\alpha \left({\sigma }_i^{(\tau )}\left(t_k\right){\delta }_k\right){\mathbf{c}}_i^{(\tau )}\left(t_k\right)\right)$$$$\text{ where }{T}_i\left(t_k\right)=\exp \left(-\sum _{k^{\prime }=1}^{k-1}\left(\sigma \left(t_{k^{\prime }}\right)+{\sigma }_i^{(\tau )}\left(t_{k^{\prime }}\right)\right){\delta }_{k^{\prime }}\right)$$

$\beta$积分后得到${\beta }_i$，${\beta }_i$在损失函数中扮演的角色如下所示：$$L_i(\mathbf{r})=\frac{{\Vert {\mathbf{C}}_i(\mathbf{r})-{\hat{\mathbf{C}}}_i(\mathbf{r})\Vert }_2^2}{2{\beta }_i(\mathbf{r}{)}^2}+\frac{\log {\beta }_i(\mathbf{r}{)}^2}{2}+\frac{{\lambda }_u}{K}\sum _{k=1}^K{\sigma }_i^{(\tau )}\left(t_k\right)$$

${\beta }_i$越大说明该像素不确定度越高，该像素有更多可能来自于Transition的物体，因此权重也越小，具体过程如下图所示：

基于以上操作，Wild-NeRF就可以对室外场景进行一个效果不错的建模，基于$l^{(a)}$还有一个很有意思的应用，即输入不同的$l^{(a)}$，网络也会对应渲染出不同光照条件下的场景，看起来非常炫酷，如下图所示：

3. Mip-NeRF

Mip-NeRF原论文名为《Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields》，其实在我写这篇博客不久前，又有一篇名为Mip-NeRF 360的论文出炉，效果更为惊艳。Mip-NeRF解决的主要是当训练图片和渲染图片处于不同分辨率条件下时会导致模糊或者错误的问题。

我们知道，原始的NeRF是通过穿过图像像素的一条射线进行积分，在射线上采样的是一个一个的点，而Mip-NeRF则是将这样一条射线更换成了一个圆锥（Cone），如下图所示：

论文里主要说明了在使用圆锥进行采样的情况下如何进行Positional Encoding，首先论文定义了在上图中$[t_0,t_1]$范围内通过圆锥获得的采样点$\mathbf{x}$的特征集合：$$\mathrm{F}\left(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1\right)=1\{\left(t_0<\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2^2}<t_1\right)\wedge \left(\frac{{\mathbf{d}}^{\mathrm{T}}(\mathbf{x}-\mathbf{o})}{\Vert \mathbf{d}{\Vert }_2\Vert \mathbf{x}-\mathbf{o}{\Vert }_2}>\frac{1}{\sqrt{1+{\left(\dot{r}/\Vert \mathbf{d}{\Vert }_2\right)}^2}}\right)\}$$其中$\mathbf{o}$为圆锥中心，$\mathbf{d}$为法向量，$\dot{r}$为圆锥半径， 1 { ⋅ } \mathbb{1}\{\cdot\} 1{⋅}表示当$\mathbf{x}$位于$\left(\mathbf{o},\mathbf{d},\dot{r},t_0,t_1\right)$定义的圆锥范围内时对上式进行取值。如果对上面这样一个特征集合求解Positional Encoding时，最直接的方式如下式所示：$${\gamma }^{\ast }\left(\mathbf{o},\mathbf{d},\dot{r},t_0,t_1\right)=\frac{\int \gamma (\mathbf{x})\mathrm{F}\left(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1\right)d\mathbf{x}}{\int \mathrm{F}\left(\mathbf{x},\mathbf{o},\mathbf{d},\dot{r},t_0,t_1\right)d\mathbf{x}}$$$$\gamma (\mathbf{x})={\left[\sin (\mathbf{x}),\cos (\mathbf{x}),\dots ,\sin \left(2^{L-1}\mathbf{x}\right),\cos \left(2^{L-1}\mathbf{x}\right)\right]}^{\mathrm{T}}$$但是这中间涉及到积分操作难以高效计算，因此作者提出了Integrated Positional Encoding操作将$[t_0,t_1]$范围内的圆锥表达为多元高斯分布，如下所示：$${\mu }_t=t_{\mu }+\frac{2t_{\mu }{t}_{\delta }^2}{3t_{\mu }^2+t_{\delta }^2}$$$${\sigma }_t^2=\frac{t_{\delta }^2}{3}-\frac{4t_{\delta }^4\left(12t_{\mu }^2-t_{\delta }^2\right)}{15{\left(3t_{\mu }^2+t_{\delta }^2\right)}^2}$$$${\sigma }_r^2={\dot{r}}^2\left(\frac{t_{\mu }^2}{4}+\frac{5t_{\delta }^2}{12}-\frac{4t_{\delta }^4}{15\left(3t_{\mu }^2+t_{\delta }^2\right)}\right)$$其中$t_{\mu }=\left(t_0+t_1\right)/2$，$t_{\delta }=\left(t_1-t_0\right)/2$，以上实在$[t_0,t_1]$范围内的圆锥的局部坐标系建立的多元高斯分布，接着通过如下变换可以将其转换到世界坐标系下，如下所示：$$\mathbf{\mu }=\mathbf{o}+{\mu }_t\mathbf{d},\mathbf{\Sigma }={\sigma }_t^2\left({\mathbf{d}\mathbf{d}}^{\mathrm{T}}\right)+{\sigma }_r^2\left(\mathbf{I}-\frac{{\mathbf{d}\mathbf{d}}^{\mathrm{T}}}{\Vert \mathbf{d}{\Vert }_2^2}\right)$$此外，我们可以将原始的Positional Encoding表达为如下矩阵形式： P = [ 1 0 0 2 0 0 ⋯ 2 L − 1 0 0 0 1 0 0 2 0 ⋯ 0 2 L − 1 0 0 0 1 0 0 2 ⋯ 0 0 2 L − 1 ] T , γ ( x ) = [ sin ⁡ ( P x ) cos ⁡ ( P x ) ] \mathbf{P}=\left[

$$\begin{array}{llllllllll} 1 & 0 & 0 & 2 & 0 & 0 & \cdots & 2^{L-1} & 0 & 0 \\ 0 & 1 & 0 & 0 & 2 & 0 & \cdots & 0 & 2^{L-1} & 0 \\ 0 & 0 & 1 & 0 & 0 & 2 & \cdots & 0 & 0 & 2^{L-1} \end{array}$$ \right]^{\mathrm{T}}, \quad \gamma(\mathbf{x})=\left[ $$\begin{array}{c} \sin (\mathbf{P} \mathbf{x}) \\ \cos (\mathbf{P} \mathbf{x}) \end{array}$$ \right] P=⎣⎡​100​010​001​200​020​002​⋯⋯⋯​2L−100​02L−10​002L−1​⎦⎤​T,γ(x)=[sin(Px)cos(Px)​]通过均值和方差的传递规则，我们就可以计算出多元高斯分布经过Positional Encoding后的表达式：$${\mathbf{\mu }}_{\gamma }=\mathbf{P}\mathbf{\mu },{\mathbf{\Sigma }}_{\gamma }=\mathbf{P}\mathbf{\Sigma }{\mathbf{P}}^{\mathrm{T}}$$计算Integrated Positional Encoding的最后一步就是根据上述的多元高斯分布计算期望，当$x\sim \mathcal{N}\left(\mu ,{\sigma }^2\right)$，则$\sin (x)$和$\cos (x)$期望的的闭式解为：$${\mathrm{E}}_{x\sim \mathcal{N}\left(\mu ,{\sigma }^2\right)}[\sin (x)]=\sin (\mu )\exp \left(-(1/2){\sigma }^2\right)$$$${\mathrm{E}}_{x\sim \mathcal{N}\left(\mu ,{\sigma }^2\right)}[\cos (x)]=\cos (\mu )\exp \left(-(1/2){\sigma }^2\right)$$因此Integrated Positional Encoding的期望为$$\gamma (\mathbf{\mu },\mathbf{\Sigma })={\mathrm{E}}_{\mathbf{x}\sim \mathcal{N}\left({\mathbf{\mu }}_{\gamma },{\mathbf{\Sigma }}_{\gamma }\right)}[\gamma (\mathbf{x})]=\left[\begin{array}{l}\sin \left({\mathbf{\mu }}_{\gamma }\right)\circ \exp \left(-(1/2)\mathrm{diag}\left({\mathbf{\Sigma }}_{\gamma }\right)\right)\\ \cos \left({\mathbf{\mu }}_{\gamma }\right)\circ \exp \left(-(1/2)\mathrm{diag}\left({\mathbf{\Sigma }}_{\gamma }\right)\right)\end{array}\right]$$由于Position Encoding是对每一维进行独立的，因此计算上述期望时只需要取每一维的方差，也就是协方差矩阵的对角线元素$$\mathrm{diag}\left({\mathbf{\Sigma }}_{\gamma }\right)={\left[\mathrm{diag}(\mathbf{\Sigma }),4\mathrm{diag}(\mathbf{\Sigma }),\dots ,4^{L-1}\mathrm{diag}(\mathbf{\Sigma })\right]}^{\mathrm{T}}$$其中$$\mathrm{diag}(\mathbf{\Sigma })={\sigma }_t^2(\mathbf{d}\circ \mathbf{d})+{\sigma }_r^2\left(1-\frac{\mathbf{d}\circ \mathbf{d}}{\Vert \mathbf{d}{\Vert }_2^2}\right)$$从上面的推导可以看出来，基于高斯分布的建模，最后从确定采样点到最后输出Integrated Positional Encoding的值中间也是一些简单的加减乘除**，因此Integrated Positional Encoding相对于本来的Positional Encoding并没有增加太多计算量**，如下图所示：

由于Position Encoding对所有的采样点都使用的同样的处理方式，因此在高频部分容易产生混淆，如上左图所示，无论高频低频经过Positional Encoding后输出高频部分有很多相似的蓝色，而Integrated Positional Encoding则可以避免这一问题，对于相对低频的输入经过Integrated Positional Encoding后输出高频部分趋近于0，也就是上右图中的白色，因此就避免了高频混淆。这也就是Mip-NeRF效果好的原因，如下对比图所示：

关于Mip-NeRF的积分过程，原论文的补充材料中有我就不在此赘述。Mip-NeRF通过建立高斯分布解决实际问题感觉很棒。

4. BARF

BARF原论文名为《BARF: Bundle-Adjusting Neural Radiance Fields》，该论文解决的问题的主要是原始NeRF对于准确的先验位姿态的依赖，在BARF的实验中，即使没有非常准确的位姿仍然可以取得非常不错的结果。与这项任务相关的论文还有NeRF–，INeRF等等，但是BARF论文中对反向传播的推导是最详细的。

BARF先从2D问题入手，给定如下图(a)中一些Crop图像，要求算法实现对齐并最终恢复到图(c )的结果

最基本的方式是最小化两幅图像之间的光度误差：$$\underset{\mathbf{p}}{\min }\sum _{\mathbf{x}}{\Vert {\mathcal{I}}_1(\mathcal{W}(\mathbf{x};\mathbf{p}))-{\mathcal{I}}_2(\mathbf{x})\Vert }_2^2$$其中，$\mathbf{x}\in {\mathbb{R}}^2$为图像坐标，$\mathcal{I}:{\mathbb{R}}^2\to {\mathbb{R}}^3$为三通道图像，$\mathcal{W}:{\mathbb{R}}^2\to {\mathbb{R}}^2$为通过参数$\mathbf{p}\in {\mathbb{R}}^P$描述的一个变换函数，按照梯度下降法的步骤，我们需要求解$\Delta \mathbf{p}$进行迭代，那么$$\Delta \mathbf{p}=-\mathbf{A}(\mathbf{x};\mathbf{p})\sum _{\mathbf{x}}\mathbf{J}(\mathbf{x};\mathbf{p}{)}^{\top }\left({\mathcal{I}}_1(\mathcal{W}(\mathbf{x};\mathbf{p}))-{\mathcal{I}}_2(\mathbf{x})\right)$$矩阵$\mathbf{A}$有SLAM基础的同学应该知道，如果是高斯牛顿法就是$\mathbf{A}(\mathbf{x};\mathbf{p})={\left({\sum }_{\mathbf{x}}\mathbf{J}(\mathbf{x};\mathbf{p}{)}^{\top }\mathbf{J}(\mathbf{x};\mathbf{p})\right)}^{-1}$，如果是最速梯度下降法则是$-1$，而其中$\mathbf{J}\in {\mathbb{R}}^{3\times P}$为雅可比矩阵：$$\mathbf{J}(\mathbf{x};\mathbf{p})=\frac{\partial {\mathcal{I}}_1(\mathcal{W}(\mathbf{x};\mathbf{p}))}{\partial \mathcal{W}(\mathbf{x};\mathbf{p})}\frac{\partial \mathcal{W}(\mathbf{x};\mathbf{p})}{\partial \mathbf{p}}$$其中$\frac{\partial \mathcal{W}(\mathbf{x};\mathbf{p})}{\partial \mathbf{p}}\in {\mathbb{R}}^{2\times P}$为变换函数相对参数的导数，这个只要函数预先定义好，导数是好求的。而$\frac{\partial \mathcal{I}(\mathbf{x})}{\partial \mathbf{x}}\in {\mathbb{R}}^{3\times 2}$是图像像素值相对空间坐标的导数，由于图像通常是一个高频复杂信号，想求解该导数是非常困难的，于是作者借助网络来解决该问题，将光度误差公式修改如下：$$\underset{\mathbf{p},\mathbf{\Theta }}{\min }\sum _{\mathbf{x}}({\Vert f(\mathbf{x};\mathbf{\Theta })-{\mathcal{I}}_1(\mathbf{x})\Vert }_2^2+{\Vert f(\mathcal{W}(\mathbf{x};\mathbf{p});\mathbf{\Theta })-{\mathcal{I}}_2(\mathbf{x})\Vert }_2^2)$$在求解变换函数$\mathbf{p}$的同时求解网络参数$\mathbf{\Theta }$，这样就将上面复杂的数值求解简化成了网络训练过程的梯度下降$\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}$。我们来重新观察一下这个网络$f$的作用，输入一个坐标$\mathbf{x}$，输出是该坐标的像素值，这不正是NeRF完成的工作吗？区别只是NeRF是在三维空间中完成此任务，因此我们定一个三维刚体变换$\mathcal{W}:{\mathbb{R}}^3\to {\mathbb{R}}^3$，NeRF的积分公式可以写为：$$\hat{\mathcal{I}}(\mathbf{u};\mathbf{p})=g\left(f\left(\mathcal{W}\left((z_1\overline{\mathbf{u}};\mathbf{p}\right);\mathbf{\Theta }\right),\dots ,f\left(\mathcal{W}\left(z_N\overline{\mathbf{u}};\mathbf{p}\right);\mathbf{\Theta }\right)\right)$$其中$\overline{\mathbf{u}}$为积分向量，$z_i$为采样点，$g(\cdot )$为积分公式，$\mathbf{p}$为三维变换参数，最终损失函数为：$$\underset{{\mathbf{p}}_1,\dots ,{\mathbf{p}}_M,\mathbf{\Theta }}{\min }\sum _{i=1}^M\sum _{\mathbf{u}}{\Vert \hat{\mathcal{I}}\left(\mathbf{u};{\mathbf{p}}_i,\mathbf{\Theta }\right)-{\mathcal{I}}_i(\mathbf{u})\Vert }_2^2$$经过上面一通复杂的操作，最后的结论其实就是将表示位姿参数${\mathbf{p}}_1,\dots ,{\mathbf{p}}_M$作为变量给到网络进行更新。我们知道，在NeRF的输入过程中会有一个Positional Encoding操作，如下所示：$$\gamma (\mathbf{x})=\left[\mathbf{x},{\gamma }_0(\mathbf{x}),{\gamma }_1(\mathbf{x}),\dots ,{\gamma }_{L-1}(\mathbf{x})\right]\in {\mathbb{R}}^{3+6L}$$$${\gamma }_k(\mathbf{x})=\left[\cos \left(2^k\pi \mathbf{x}\right),\sin \left(2^k\pi \mathbf{x}\right)\right]\in {\mathbb{R}}^6$$当我们对Positional Encoding操作进行求导后：$$\frac{\partial {\gamma }_k(\mathbf{x})}{\partial \mathbf{x}}=2^k\pi \cdot \left[-\sin \left(2^k\pi \mathbf{x}\right),\cos \left(2^k\pi \mathbf{x}\right)\right]$$我们发现，第$k$次频的Positional Encoding操作会对原本的梯度信号放大$2^k\pi$倍，而不同频次之间的梯度又会相互影响，这使得有效地更新$\Delta \mathbf{p}$变得更加困难，为了解决这个问题，作者提出了一个类似于动态低频滤波器的操作，如下所示，对第$k$次频的Positional Encoding进行加权$${\gamma }_k(\mathbf{x};\alpha )=w_k(\alpha )\cdot \left[\cos \left(2^k\pi \mathbf{x}\right),\sin \left(2^k\pi \mathbf{x}\right)\right]$$其中权重$w_k$定义为： w k ( α ) = { 0  if  α < k 1 − cos ⁡ ( ( α − k ) π ) 2  if  0 ≤ α − k < 1 1  if  α − k ≥ 1 w_{k}(\alpha)=

$$\begin{cases}0 & \text { if } \alpha<k \\ \frac{1-\cos ((\alpha-k) \pi)}{2} & \text { if } 0 \leq \alpha-k<1 \\ 1 & \text { if } \alpha-k \geq 1\end{cases}$$ wk​(α)=⎩⎪⎨⎪⎧​021−cos((α−k)π)​1​ if α<k if 0≤α−k<1 if α−k≥1​其中$\alpha \in [0,L]$是一个随着训练过程不断变化的参数，加入权重后的雅可比计算公式为：$$\frac{\partial {\gamma }_k(\mathbf{x};\alpha )}{\partial \mathbf{x}}=w_k(\alpha )\cdot 2^k\pi \cdot \left[-\sin \left(2^k\pi \mathbf{x}\right),\cos \left(2^k\pi \mathbf{x}\right)\right]$$当$w_k(\alpha )=0$时第$k$次频的梯度就不会回传，在训练初期将高频部分权重置为0，然后再逐步增大$\alpha$直到$\alpha =L$，这样就可以使得网络优先关注低频部分，然后逐步学习高频部分的信息。如下图对比所示，（a）为采用原始的Positional Encoding操作，（b）为不采用Positional Encoding操作，（c）为加入权重后的Positional Encoding操作。BARF Project页面上的动态视频也很酷，大家感兴趣可以去看下。

5. NSVF

NSVF原论文名为《Neural Sparse Voxel Fields》，该论文解决的是要是原始NeRF训练过程收敛速度慢的问题。原始NeRF是使用一个MLP网络的参数对整个空间进行建模，即原始NeRF的MLP网络的输入只有采样点的坐标和方向，输出就是该采样点的颜色和密度，因此我们可以理解为所有的信息都保存在MLP网络中。而NSVF是使用一个Sparse Voxel Octree来辅助对空间建模，具体说来就是NSVF通过Sparse Voxel Octree保存了空间中各个节点位置的Feature，然后根据采样点的位置对Feature进行插值，最终输入MLP网络的是采样点的Feature和方向，因此空间中的信息一部分保存在了MLP网络中，另一部分则保存在Sparse Voxel Octree的Feature中。

NSVF的网络结构如下图所示：

其中，Voxel Embedding部分即为Sparse Voxel Octree保存的特征，每个Voxel有8个角点 $p_1^{\ast }\dots p_8^{\ast }$，每个角点存储着$d$维的特征${\tilde{g}}_i\left({\mathbf{p}}_1^{\ast }\right),\dots ,{\tilde{g}}_i\left({\mathbf{p}}_8^{\ast }\right)\in {\mathbb{R}}^d$，记为，根据采样点 $p$ 落在Voxel中的位置对Voxel的8个特征按照距离进行插值得到采样点对应的特征，然后对该Feature进行Positional Embedding操作：$$g_i(\mathbf{p})=\zeta \left(\chi \left({\tilde{g}}_i\left({\mathbf{p}}_1^{\ast }\right),\dots ,{\tilde{g}}_i\left({\mathbf{p}}_8^{\ast }\right)\right)\right)$$其中$\chi (.)$表示插值操作，$\zeta (.)$表示Position Embedding操作。采样点方向$\mathbf{v}$同样进行Position Embedding操作后同$g_i(\mathbf{p})$一起输入MLP网络，并最终输出颜色$\mathbf{c}$和密度$\mathbf{\sigma }$。

文中提到，原始的NeRF可以视为NSVF的一个特例：$$g_i(\mathbf{p})=\zeta \left(\chi \left({\mathbf{p}}_1^{\ast },\dots ,{\mathbf{p}}_8^{\ast }\right)\right)=\zeta (\mathbf{p})$$基本操作都是相同的，只是没有Voxel用于保存特征而已。

除了网路基本的结构外，文章还提出了Self-Pruning和Progressive Training两个方法，其中Self-Pruning即在训练过程，对于删除密度较小的栅格，以起到减小计算量的作用；Progressive Training则是在训练过程中不断减小Voxel的尺寸，以达到提高精度的目的。如下图就是Progressive Training的过程：

6. Semantic-NeRF

Semantic-NeRF原论文名为《In-Place Scene Labelling and Understanding with Implicit Scene Representation》，该论文的主要贡献时在NeRF的基础上加入了语义的结果，论文方法并不复杂，就是在MLP网络上加了一路Semantic的输出，然后仿照颜色的积分方式对Semantic进行积分，如下图所示：

在我看来，Semantic-NeRF并没有什么物理模型支撑和数学证明过程，仅仅是利用了网络的插值的作用，该论文展示了这样一个应用，对于一个场景通过极少数视角/像素的语义标注，就可以将其他视角/像素的语义标注推导出来，在该作者后面的论文中有将其衍生出一个标注工具，感兴趣的读者可以自行去查阅论文。

以上就完成了这几篇论文的一个小结，基于原始NeRF优化的论文还有很多，而且最近也不断有新的论文发表，相信在不久的将来该方法会应用到各项工程技术中，有问题欢迎交流~