超越3DGS！GaussianPro：具有渐进传播的3D高斯Splatting

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【扩散模型和3DGS】交流群

添加微信：CVer444，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

导读

为了解决3D Gaussian Splatting在大场景上几何建模不够准确导致的渲染质量下降，作者提出了GaussianPro: 3D Gaussian Splatting with Progressive Propagation。

论文主页: 

https://kcheng1021.github.io/gaussianpro.github.io/

论文: https://arxiv.org/abs/2402.14650

代码地址: 

https://github.com/kcheng1021/GaussianPro

图1 Youtube上视频的几何渲染质量在GaussianPro上明显提升

图2 Waymo上渲染结果对比

图3 自由视角渲染    

本文概述

最近，三维高斯溅射技术（3D Gaussian Splatting，3DGS）的出现在神经渲染领域引发了一场革命，实现了高质量渲染与实时速度的结合。然而，3DGS在很大程度上依赖于由运动结构（Structure-from-Motion，SfM）技术生成的初始点云。当处理包含弱纹理表面的大规模场景时，SfM技术往往无法在这些表面上生成足够的点，并且无法为3DGS提供良好的初始化。因此导致3DGS在优化过程中遇到困难，并且渲染质量较低，如图1所示。

图2 大规模场景(例如街景)中3DGS的几何建模较差，影响了渲染质量。GaussianPro通过提升几何质量从而实现更好的渲染效果。

在本文中，我们受到经典的多视图立体（MVS）技术的启发，提出了一种名为GaussianPro的新方法，通过采用逐步传播策略来引导三维高斯点云的密集化。与3DGS中使用的简单分割和克隆策略相比，本文方法利用了场景中已重建几何的先验知识和块匹配技术，以产生具有准确位置和方向的新的高斯点云。

相比3DGS，该方法在街景数据Waymo上PSNR提升了1.15dB，在渲染和几何上质量上都明显提升。除此以外，该方法还在Youtube上随机选取了视频进行测试，也验证了几何和渲染质量的提升。

图3 提出模块的有效性证明

图4 Waymo上高斯俯视图。3DGS(左)，GassianPro(右)

图5 Waymo数据集上渲染指标的比较

本文贡献

本文提出了一种新颖的高斯传播策略，指导三维高斯的稠密化过程，在大场景中初始点云稀疏的区域，特别是弱纹理区域，产生更紧凑和准确的三维高斯。

本文提出了平面约束的损失函数辅助三维高斯的优化过程，鼓励三维高斯接近平面表达。

相比3DGS，本方法在Waymo和Youtube随机选取的视频上均展现出了明显的几何和渲染质量的提升。本方法还对输入图像数量的变化展现出鲁棒性。

本文方案

高斯传播策略

图6 高斯传播策略流程图

由于三维高斯在空间中的离散性和不规则拓扑结构，3DGS难以在三维空间中获取高斯之间的连通性，例如在局部表面上搜索相邻的高斯。高斯传播策略的核心在于将三维空间中的高斯的几何优化映射到结构化的二维空间中，通过深度和法向的优化来更新三维高斯的几何，如图2所示。该方法从三维高斯中光栅化生成深度图和法向图。然后，通过迭代地对渲染深度和法向执行传播操作，利用块匹配技术生成更新深度和法向值（作为传播深度和传播法线）。该方法使用几何一致性过滤掉不可靠的传播深度和法向，得到过滤后深度和法向。最后，该方法基于对过滤深度和法向与渲染深度和法向的对比，确定需要更新的区域。这些区域的像素将基于更新的深度和法向投影到三维空间中生成新的高斯。   

平面约束的损失函数

图7 路面的图像渲染和三维高斯可视化

原始三维高斯在建模平面时可能排列无序且无法准确建模真实几何形状，从而导致渲染图像存在严重的伪影。通过提出的平面约束，GaussianPro能够更好的捕捉平面的几何结构，使高斯更紧凑有序。该平面约束由如下损失组成：

其中L_normal要求高斯的渲染法向接近传播后的法向。   

L_scale要求高斯的最短轴的尺度接近0。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的152页课件PPT！赶紧学起来！

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

3DGS和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-3DGS和扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如3DGS或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！
 
▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看