3D Gaussian Splatting三维高斯溅射简介_3d高斯溅射

作者：寸_铁 | 2024-06-20 19:44:32

踩

3d高斯溅射

原文|代码

三维高斯溅射是一种场景表达方式，基于高斯椭球小颗粒重建场景的三维结构，通过溅射的方式打到二维平面显示器实现快速的画面渲染。

从应用上讲，用户输入多幅目标场景图片给模型，模型将重建3D Gaussian场景，继而能够通过溅射场景3D模型到不同相机位置的2D平面进行渲染。

这里作个不严谨的比喻，椭球相当于组成人体结构的细胞，而当我们用眼睛看人体时，我们是看到表皮细胞反射的光线溅射到我们眼底视网膜上的形象。

而这里的每个细胞都是椭球，这个椭球由四个重要的性质来定义：位置 $\mu$ 、协方差矩阵 $\sum$ 、不透明度 $\alpha$ 、球谐函数（SH）系数。位置 $\mu$ 决定了椭球中心在空间中的位置，协方差矩阵 $\sum$ 决定了椭球的缩放旋转程度，不透明度 $\alpha$ 决定了椭球阻挡光线的程度，球谐函数（SH）系数决定了椭球表面颜色分布。

其中协方差矩阵 $\sum$ 由缩放 $S$ 与旋转 $R$ 决定：

$\sum=RSS^{T}R^{T}$

在3D Gaussian实现中，初始化的缩放 $S$ 参数：在莫顿码的空间中，最近邻三个点的距离均值计算而来。（cuda代码：submodules/simple-knn/simple_knn.cu）

初始化的旋转 $R$ 参数：在四元数旋转表示下，每个椭球都为 $[1,0,0,0]$ ，即没有任何旋转。

代码参数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/740850