帝国理工学院最新 | 超越Scaffold-GS：基于结构感知的3D Gaussian Splatting新视角合成方法

一、读者理解

这篇文章介绍了一种名为SAGS的结构感知高斯体素化方法，用于神经渲染。SAGS通过图神经网络在3D点空间中编码场景的局部和全局结构信息，以预测高斯属性，并实现了对场景几何结构的保持。实验结果显示，SAGS在渲染质量和存储需求方面优于当前最先进的方法。此外，文章还提出了一个轻量级的SAGS版本，实现了24倍的存储减少，而渲染质量基本保持不变。

标题：SAGS: Structure-Aware 3D Gaussian Splatting
作者：Evangelos Ververas

二、方法

 1、输入和输出：

该方法以COLMAP方法生成的稀疏点云P作为输入，并输出一组符合输入视点的高斯分布，同时保持初始场景结构。

2、主要组成部分：

曲率感知的稠密化：对点云P进行曲率估计，并在低曲率区域进行中点稠密化，以改善高斯溅射的初始化。

结构感知的编码器：构建k近邻图，利用图神经网络学习每个点的结构感知特征编码。

细化网络：解码特征编码，预测每个点的颜色、不透明度、协方差等高斯属性。

3、模型训练：

采用L1损失和结构相似性损失进行图像渲染质量的优化。 

4、实现：

基于原始3D-GS的PyTorch实现，使用小型MLP进行预测。 

三、实验结果

使用了Mip-NeRF360、Tanks&Temples和Deep Blending三个数据集进行实验。与NeRF和3D-GS的多个最新方法进行了比较，包括Mip-NeRF360、Plenoxels、iNGP、3D-GS和Scaffold-GS。使用PSNR、SSIM、LPIPS、存储大小和渲染速度等多个指标进行评价。

1、新视角合成实验：

渲染质量：结果显示，该方法在所有数据集和指标上优于3D-GS和Scaffold-GS。

结构保持：定量和定性分析了该方法在保持场景结构方面的优势，减少了浮动点和其他不规则扭曲。

性能：结果表明，该方法在存储需求上实现了显著减少，同时保持了实时渲染速度。

2、Ablation实验：

通过去除不同组件进行实验，分析了各组件的重要性。

3、SAGS-Lite模型：

介绍了简化版模型，并进行了定性比较。 

 

 

 

 实验结果表明，结构信息对3D-GS具有重要意义，作者的方法优于现有方法。

四、总结

本文提出了一种结构感知的高斯溅射方法(SAGS)，用于新视角合成。该方法利用图神经网络编码输入场景的几何信息，实现了点与点之间的信息交互，提高了模型的表示能力。在多个基准数据集上进行了验证，结果表明该方法优于现有方法，包括3D-GS和Scaffold-GS。此外，作者还引入了简化版的SAGS-Lite模型，进一步减小了存储需求，同时保持了渲染质量。实验验证了结构信息对新视角合成的重要性，作者的方法在渲染质量和结构保持方面具有优势。 

转载自：3DCV 如有侵权，请联系删文

---

在【学长论文指导】VX公众号后台回复：211，获取论文资料，赶快学起来！

论文指导发刊的 【AI交叉学科、SCI、CCF-ABC、期刊、会议、本硕博论文、在职论文指导、大佬Kaggle带队拿牌、 润色发刊等 】 

手把手带你从做科研到论文发表，一条龙全方位指导！避免各种常见or离谱的坑，顺顺利利学习，快快乐乐毕业~

0基础也能发论文吗?导师放养？毕业压力？找不到热点课题和方向没有idea、没有数据集，实验验证不了、代码跑不通没有写作基础、不知道论文的含金量，高区低投、不清楚不了解完整的科研经验;评职称？、申博压力、自我高区位的追求

论文资料包：1、SCI论文写作、投稿、修改助手、插图规范
2、SCI管理软件、英语写作辅助和润色、写作与画图必备神器
3、SCI 写作套路化模板（高级句型）
4、上千份八大主流神经网络、大模型、AIGC等AI各方向论文及代码
5、写论文必备书籍
6、2023、2024年优秀顶刊论文合集