【三维重建】3D Gaussian Splatting：实时的神经场渲染

摘要

辐射场方法改变了多张照片或视频主导的场景新视角合成。Gaussian Splatting引入了三个关键元素，在保持有竞争力的训练时间的同时实现最先进的视觉质量，重要的是允许在1080p分辨率下实现高质量的实时（≥30 fps）的新视图合成。

1.首先，从摄像机校准过程中产生的稀疏点开始，我们用三维高斯来表示场景，保持连续体积辐射场的理想特性，同时避免空白空间不必要的计算；

2.其次，对三维高斯进行交叉优化/密度控制，特别是优化各向异性协方差以实现场景的精确表示；
3.我们开发了一种快速的可见性感知渲染算法，支持各向异性 splatting，既加速训练，又允许实时渲染。

提示：以下是本篇文章正文内容，下面案例可供参考

一、前言

mesh 和点是最常见的3D场景表示，因为它们是显式的，非常适合于快速的基于GPU/CUDA的栅格化。相比之下，最近的神经辐射场（NeRF）方法建立在连续场景表示的基础上，通常使用体射线行进来优化多层感知器（MLP），以实现捕获场景的新视图合成。类似地，迄今为止最有效的辐射场解决方案建立在连续表示的基础上，通过插值存储的值，例如，体素或哈希[网格或点。虽然这些方法的连续性有助于优化，但渲染所需的随机抽样是昂贵的，并可能导致噪声。我们引入了一种新方法，结合了最好的两个世界：我们的三维高斯表示允许优化与最先进的（SOTA）视觉质量和竞争训练时间，而我们的拼接解决方案确保实时渲染SOTA质量1080p分辨率在几个之前发布的数据集（见下图1）。

Mip-NeRF360 需要长达48小时的训练时间；快速但质量较低的辐射场方法可以根据场景实现交互式渲染时间（每秒10-15帧），但不能在高分辨率下实现实时渲染。

我们的解决方案有三个主要组件：首先引入三维高斯分布作为场景表示。与 nerf 方法相同的输入开始，即使用运动结构（SfM）校准的相机，并使用SfM过程中免费产生的稀疏点云初始化三维高斯数集。与大多数需要多视图立体声（MVS）数据的基于点的解决方案相比，仅以SfM点作为输入就获得了高质量的结果。注意，对于nerf合成数据集，我们的方法即使在随机初始化下也能获得高质量。我们证明了三维高斯优点：是可微的体积表示，但它们也可以通过投影到二维，并使用标准