3D Gaussian Splatting for Real-Time Radiance Field Rendering(慢慢啃，还是挺复杂的)

三个关键要素

1. 从相机配准的过程中得到的稀疏点云开始，使用3D Gaussian表示场景; 3D Gaussian: 是连续体积辐射场能够防止不必要的空空间优化。
2. 对 3D Gaussion进行交叉优化和密度控制: 优化各向异性血方差对场景精确表示。
3. 使用快速可视感知渲染算法来进行快速的训练和渲染。

Differentiable 3D Gaussian Splitting

• 表示方法和[1][2]有相似性，同时假设每一个点有一个带法线的平面圆。
• 由于SFM得到的点非常稀疏，很难估计法线，因此，我们建模我们的几何结构为一组不需要法线的3D高斯。定义为一个定义在世界空间的全3D协方差矩阵(3D coveriance matrix) $\Sigma$，中心在点$\mu$(mean):
  $G(x)=e^{-\frac{1}{2}(x{)}^T{\Sigma }^{-1}(x)}$
• 我们为了渲染需要将3D高斯投影到2D。给一个视角转换W,对应的在相机坐标系下协方差矩阵${\Sigma }^{\prime }$为：
  ${\Sigma }^{\prime }=JW\Sigma W^T{J}^T$, J是投影变换的仿射近似雅可比矩阵。
• 直观的想法是直接优化协方差矩阵$\Sigma$获得3D高斯代表辐射场。但是，协方差矩阵只有在半正定时才有物理意义。

  协方差矩阵的物理意义在于它反映了变量之间的关联程度。如果协方差矩阵是半正定的，这意味着其中任何一个向量与自身的内积（即方差）都是非负的。这种情况下，变量之间的关系是一种相对“稳定”的关系，其中一个变量的增加往往会伴随着另一个变量的增加或减少，而且这种关系的变化程度是可控的。

• 所以我们选择把协方差矩阵等效为一个椭球的构型。给出尺度矩阵S和旋转矩阵R，我们可以找到 $\Sigma =RS{S}^T{R}^T$.
• 为了能够独立优化这些参数，我们将其分开存储：一个3D向量s表示尺度，一个四元数q表示旋转。

Optimization with Adaptive Density Control of 3D Gaussians

• 除了位置p,$\alpha$和协方差$\Sigma$以外，我们还优化每个高斯颜色c的SH系数。

Optimization

• 该优化是基于连续的渲染迭代，并将生成的图像与捕获的数据集中的训练视图进行比较。
• 由于几何可能被不正确地从2D到3D预测，所以优化过程需要对几何进行创造或毁灭。
• 我们将初始协方差矩阵(initial covariance matrix)估计为各向同性(isotropic)高斯矩阵，其轴等于到最近三个点的距离的平均值。

Adaptive Control of Gaussians

• 我们从SfM的初始化稀疏点开始，应用我们的方法自适应控制单位体积上高斯的数量和密度。优化预热后，每100次迭代进行一次致密化，删除任何本质上透明($\alpha$小于阈值)的高斯分布。
• 我们对高斯的自适应控制需要填充空白区域。 它重点关注缺少几何特征的区域(“under-Reconstruction”)，但也关注高斯覆盖场景中大面积的区域(“over-reconstruction”)。 我们观察到两者都有很大的视图空间位置梯度( large view-space positional gradients)。 直观上，这可能是因为它们对应于尚未很好重建的区域，并且优化尝试移动高斯来纠正这一点。
• 两种情况都是致密化的候选。我们用视野空间位置梯度(view-space position
  gradients)的平均幅度超过高斯${\tau }_{pos}$，在我们的测试中将其设置为0.0002。
• Under Reconstruction: 对于重建区域中的小高斯，我们需要覆盖必须创建的新几何形状。 为此，最好通过简单地创建相同大小的副本并将其沿位置梯度的方向移动来克隆高斯。
• Over Reconstruction 具有高方差的区域中的大高斯需要被分割成更小的高斯。 我们用两个新的高斯函数替换这些高斯函数，并将它们的尺度除以我们通过实验确定的系数 $\varphi$ = 1.6。 我们还通过使用原始 3D 高斯作为 PDF 进行采样来初始化它们的位置。
  
• 与其他体积表示类似，我们的优化可能会被靠近输入摄像机的漂浮物卡住；在我们的例子中，这可能会导致高斯密度的不合理的增加。
• 解决这个问题的有效方法是每N = 3000次迭代后将$\alpha$设为接近0。然后增加$\alpha$,开始剔除透明的高斯。

Fast Differentiable Rasterizer(栅格化) for Gaussians

• 我们的目标是有快速的整体渲染和快速的排序，以允许近似的
  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/正经夜光杯/article/detail/982341