经典文献阅读之--Gaussian Splatting SLAM(单目3D高斯溅射重建)

0. 简介

3D GS在NeRF领域已经掀起了一股浪潮，然后又很快席卷到了SLAM领域，最近已经看到很多3D GS和SLAM结合的开源工作了。将为大家分享帝国理工学院戴森机器人实验最新开源的方案《Gaussian Splatting SLAM》，这也是第一个将3D GS应用到增量3D重建的工作，速度为3 FPS。要想实时从摄像头连续重建出高保真度的三维场景，需要多项创新。首先，为了超越原始的3D高斯溅射（3DGS）算法——该算法需要来自离线结构运动（SfM）系统的精确位置信息——我们为3DGS构建了相机跟踪功能，直接针对3D高斯函数进行优化，并证明这样可以实现快速、稳健的跟踪，具有广泛的收敛范围。其次，通过利用高斯函数的显式特性，我们引入了几何验证和规则化处理，以处理增量式三维密集重建中出现的歧义。最后，我们引入了一个完整的SLAM系统，不仅在新视图合成和轨迹估计方面取得了最先进的结果，而且还能重建微小甚至透明的物体。这个代码暂时还没开源，预计2月会开源，感兴趣的可以关注一下对应的网站

1. 主要贡献

我们进一步展示了基于高斯的SLAM方法的独特性，如极大的相机姿态收敛盆地，这对于基于地图的相机定位也有用。我们的方法仅适用于单目输入，这是SLAM中最具挑战性的场景之一，但我们展示了它也可以在可用时结合深度测量。总而言之，我们的贡献如下：

1. 第一个接近实时的SLAM系统，仅使用3DGS作为唯一的场景表示。
2. SLAM框架内的新颖技术，包括相机姿态估计的解析雅可比，高斯形状规范化和几何验证。
3. 在各种数据集上进行了广泛评估，包括单目和RGB-D设置，特别是在实际场景中展示了竞争性能。

2. 高斯飞溅

我们的SLAM表示法是3DGS，它通过一组各向异性的高斯函数G来映射场景。每个高斯函数$G^i$包含光学特性：颜色$c^i$和不透明度${\alpha }^i$。为了连续的3D表示，均值${\mu }_W^i$和协方差${\Sigma }_W^i$，在世界坐标中定义，代表了高斯函数的位置和其椭球形状。为了简化和提速，在我们的工作中，我们省略了表示视角依赖辐射的球谐函数。由于3DGS使用体积渲染，因此不需要显式提取表面。相反，通过对N个高斯函数进行打点和混合，合成了像素颜色$C_p$

3DGS执行光栅化时，是遍历高斯函数，而不是沿着相机射线前进，因此，在渲染过程中忽略了空闲空间。在光栅化过程中，基于通过打点3D高斯形成的2D高斯，通过高斯函数衰减$\alpha$的贡献。在世界坐标中的3D高斯$N({\mu }_W,{\Sigma }_W)$与图像平面上的2D高斯$N({\mu }_I,{\Sigma }_I)$通过投影变换联系在一起：

…详情请参照古月居