Unity 3DGaussian Splatting初接触随笔_3d gaussian splatting unity

---

前言

最近开发元宇宙项目，偶然接触3DGaussian Splatting建模技术，记录一下目前把模型导入Unity后的项目经历吧。

---

一、多平台应该还未实现

目前感觉Unity对3DGaussian模型的支持好像只是可以渲染出来。Github上看到有几个大佬制作的渲染插件，但是对Graphics API限制很多，大多项目使用的是Direct3D11、Direct3D12，有个大佬貌似适配了Vulkan，不过都是基于Windows或者Mac，我尝试打包Android和WebGL平台的工程。打包WebGL工程，直接报错提示Graphics buffer创建失败；Android工程也会报类似的错误，猜测应该是shader使用的Graphics不匹配。所以目前Unity的多平台优势么得了，仅限于可以渲染出来

---

二、遇到的问题

1.渲染

目前GitHub上看到Unity相关的项目比较少，大致看了下渲染相关的逻辑，好像现在3DGaussian模型的渲染是类似给Camera加特效的方式。大概流程就是拿到Camera的图像数据，然后渲染Gaussian模型后再输出。
测试多平台兼容性的时候也发现了，不同平台Graphics API不支持导致Graphics buffer创建失败的话就渲染不出Gaussian模型了。所以，Android和WebGL平台打包后运行报错，就只能显示Camera的原始画面，这也算是帮助我理解这一现象了吧。那相当于我就算在windows看到了高斯模型，也只是在看特效咯？（我对渲染理解不够，之后要多学习了）

2.VR串流

在Windows平台渲染出来之后呢，我就又尝试给放到VR里，因为我觉得这么真实的场景用VR体验效果应该最好（用于VR文旅方向是不是有搞头？）。因为只能在Windows，VR目前还都是Android，那就尝试串流咯。StreamVR plugin导入，改改报错调试调试。哦吼，效果还行，不过在体验较大场景的Gaussian模型时卡顿、掉帧比较明显。

3.模型叠加

给老板看了看VR的效果后又有新点子了，要把元宇宙和3DGaussian 模型结合，想要在元宇宙里用模型DIY场景。想想也有搞头
就尝试一下搞搞。
先做了简单的模型生成，点击移动、旋转什么的功能。ok，还挺顺利

小模型生成ok，万一想换场景呢，就又做了大场景的切换。打开路径 --> 选择文件 --> 动态加载 -->场景切换，也ok了
哦吼，那这俩功能合并一下，就可以了？
开始开始，合并功能之后，发现问题了：大场景模型中加载小物体模型时，不同角度会有不同效果，小物体时不时就被大物体的渲染信息遮挡。
这……目前怀疑是大场景模型中的点云信息可能会遮挡小模型，不晓得是不是。

---

三、最后

害，果然没那么简单，Unity目前对3DGaussian模型支持还不成熟，不过也能理解，刚出的技术嘛。最近搞这个项目越发感觉自己渲染方向的知识很薄弱，学习学习。
在这记录一下最近接触得东西，说实话，这个新的建模技术我感觉很适合做VR文旅啊，3D建模和AR游戏，真的会有喜欢在元宇宙里看很真实的场景么？