由于3D 高斯在多视角下的不一致性，使得它在surface reconstruction中效果不佳。为此，作者提出用2D平面高斯圆盘（2D oriented planar Gaussian disks）来表征三维单元。2DGS通过采用surfels的表达方式，并使用针对surfels的投影方法较好地保证了多视角一致性。通过ray-splat intersection和 rasterization实现2D高斯的渲染。进一步的，通过在loss中引入depth distortion and normal consistency提高了重建几何的质量，而不能单单只靠RGB的loss。

从motivation来看，应该就是3D高斯难以处理复杂的几何形状下的重建，特别是平面会有比较多的noise（这点之前大量的实验也可观察到，也确实3D高斯球叠加一起的平面肯定有些棱角之类的noise）。对于3D高斯而言，对于相邻高斯球交汇处，不同的视角会有不同的渲染值/深度值（3DGS evaluates a Gaussian’s value at the intersection between a pixel ray and a 3D Gaussian, which leads to inconsistency depth when rendered from different viewpoints.）

而采用2D 高斯，也就是类似于Mesh或者surfels差不多的平面来构建的话，可以交换的拟合复杂的平面。

什么是surfels?

Surfels approximate the object surface locally with shape and shade attributes, and can be derived from known geometry.

Surfels（surface elements）是体积渲染文献中的“表面元素”或“表面体素”。其他人将其描述为零维n元组，其形状和阴影属性局部近似于对象表面。对象可以由一组密集的点（表面）表示，这些点（表面）保存照明信息。

A surfel, that is, a point structure representing Euclidean xyz coordinates, together with normal coordinates, a RGBA color, a radius, a confidence value and the surface curvature estimate.

其表达如下：

基于surfels的方法基本上都需要几何的GT、深度信息或者在光照已知的场景下才能运行。而2DGS将其结合起来。2DGS采用了扁平的基元（2D高斯，oriented elliptical disk）对3D场景进行表示，2DGS的基元辐射场垂直于其法线，使其可以更好地贴合场景表面。

2DGS与3DGS的区别

关于3DGS的原理，此处就不再阐述了，请见博客：学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研_3d gaussian splatting slam-CSDN博客

虽然3DGS取得巨大的成就，但是由于3D 高斯在多视角下的不一致性，使得它在surface reconstruction中效果不佳。而2D高斯则是多视觉一致性强。而2DGS使用2D的圆盘来表示场景，这使得2DGS与3DGS相比能够表达精确的表面几何。3DGS通过像素发出的光线束和3D Gaussian之间的交平面来计算投影到像平面的高斯值，这在不同视点进行渲染时会导致得到不同的depth（因此depth sort的结果也会不连续）。2DGS使用ray-splat来得到准确连续的投影结果，大大提高了几何的质量。如下图所示。对于3DGS而言，不同的视角，其对应的是不同的交互平面（Intersection Plane），但是对于2DGS，都是相同的平面，因此多视角一致性较强~

此外，2D高斯中固有的表面法线使得能够通过法线约束进行直接的重构表面进行正则化，因此相比于传统的surfel-based的方法，2DGS可以从未知几何体中恢复。（2DGS天生具有normal使其可以很自然地使用normal进行监督，并且2DGS可以通过基于梯度的优化方法从未知的几何中进行重建。）

如下图所示，2DGS所构建的平面光滑一些~

下图放大一些细节就更明显了~

虽然效果比较不错，但是2DGS是通过不透明度来判断场景的表面，对于诸如玻璃一类半透明的物体会遇到较大困难。其次，2DGS的densification策略使其主要集中在纹理较丰富区域，对于弱纹理区域表示较差。

2DGS的理解

2DGS 的Modeling

2DGS采用了扁平的基元(planar disk)对场景进行表示，2DGS的基元辐射场垂直于其法线(the normal as the direction of steepest change of density)，使其可以更好地贴合场景表面。也有其他类似的工作采用2D 高斯来做几何重建，但是需要稠密的点云以及真值法向量作为输入，但是本文只需要colmap或sfm得到的稀疏点以及作为supervision的图片。

如所图所示。2D高斯的定义为：其中心点 $p_{k}$ ，两个切向量 $t_{u}$ 和 $t_{v}$ 一个控制2D Gaussians 方差的scaling向量(scalling vector) $S=\left (s_{u}, s_{v} \right)$ 。2D Gaussians的法线由两个互相正交的切向量来定义 $t_{w}=t_{u}\times t_{v}$ 。因此2D高斯的方位参数可以组织成旋转矩阵 $R=\left [ t_{u}, t_{v}, t_{w} \right ]$ ，缩放参数（scalling factors）可以组织为最后一列为0的对角矩阵

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/932054