51-31 CVPR’24 | VastGaussian，3D高斯大型场景重建_3d gaussian 超大场景

2024 年 2 月，清华大学、华为和中科院联合发布的 VastGaussian 模型，实现了基于 3D Gaussian Splatting 进行大型场景高保真重建和实时渲染。

Abstract

现有基于NeRF大型场景重建方法，往往在视觉质量和渲染速度方面存在局限性。虽然最近 3D Gaussians Spltting 在小规模和以对象为中心的场景中效果很好，但由于视频内存有限、优化时间长、外观变化明显，将其扩展到大型场景会带来挑战。为了应对这些挑战，我们提出了 VastGaussian，这是第一个基于 3D Gaussians Spltting 大型场景高质量重建和实时渲染方法。我们提出了一种渐进分割策略，将大型场景划分为多个单元，其中训练相机和点云根据空域感知可见度标准进行适当分布。在并行优化后，这些单元被合并为一个完整场景。我们还将解耦的外观建模引入到优化过程中，以减少渲染图像外观变化。我们的方法优于现有的基于NeRF方法，并在多个大型场景数据集上实现了最先进性能，实现了快速优化和高保真实时渲染。

Project page:https://vastgaussian.github.io.

Introduction

大型场景重建对于许多应用程序来说是必不可少的，包括自动驾驶、航空测量和虚拟现实，这需要逼真的视觉质量和实时渲染。Block-NeRF，Mega-NeRF，BungeeNeRF，Grid-NeRF，Switch-NeRF 等方法将神经辐射场NeRF扩展到大规模场景，但它们仍然缺乏细节或渲染缓慢。

3D Gaussian Splatting (3DGS) ，作为一种很有前景的