（NeRF学习）3D Gaussian Splatting & Instant-NGP环境配置_训练3d gaussian splatting模型步骤

学习参考：

• 3D gaussian splatting 安装步骤拆解23.9月
• 3D Gaussian Splatting入门指南
• 【五分钟学会渲染自己的NeRF模型，有手就行！】
• 三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用
  

如果你已经熟悉了流程只是记不住命令：

# 3Dgaussian-splatting
FFMPEG -i D:\Projects\Nerf\gaussian-splatting\data\data_classroom\classroom.mov -qscale:v 1 -qmin 1 -vf fps=8 %04d.jpg

python convert.py -s data/data_classroom

python train.py -s data/data_classroom

cd viewers\bin

SIBR_gaussianViewer_app -m data/data_classroom/output




# instant-ngp
python scripts\colmap2nerf.py --video_in data\data_classroom\classroom.mp4 --run_colmap --colmap_db data\data_classroom\colmap.db --text data\data_classroom\text_colmap   --aabb_scale 16 --out data\data_classroom\transforms.json  --colmap_matcher exhaustive  --video_fps 8

instant-ngp.exe --scene data\data_classroom\transforms.json 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

一、3D Gaussian Splatting

（一）3D Gaussian Splatting环境配置

1.环境需要

我在conda环境中使用的是python3.8，cuda用的是11.8版本，cudann用的是8.9.6.50。

（1）CUDA和CUDANN安装提示：

• 在下面这个教程中，作者提到不要勾选Visual Studio Integration，但是我第一次下的时候没有勾选就一直说nvcc不是内部指令。
• 在CUDA安装好后，我的是自动添加了环境变量，没有的建议“刷新”一下。

教程：安装CUDA和CudaNN

（2）安装依赖：

在虚拟环境里：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

pip install plyfile tqdm

pip install submodules/diff-gaussian-rasterization

pip install submodules/simple-knn  
1
2
3
4
5
6
7

如果这里后面两个命令报错了，我的解决方法是重新拉取整个项目加上 --recursive

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive  
1

（3）接下来就跟着教程走

• 3D gaussian splatting 安装步骤拆解23.9月
• 3D Gaussian Splatting入门指南

（4）执行完之后的目录结构如下：

（5）可视化工具执行后效果如下：

一、Instant-NGP

（一）Instant-NGP环境配置

-三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用

跟着上面两个参考走，下面记录几点不一样的地方：

1.使用instent-ngp

视频放在此处：

执行以下命令生成用于三维重建的images和transforms.json等文件：

python scripts\colmap2nerf.py --video_in data\data_laptop\laptop.mp4 --run_colmap --colmap_db data\data_laptop\colmap.db --text data\data_laptop\text_colmap   --aabb_scale 16 --out data\data_laptop\transforms.json  --colmap_matcher exhaustive  --video_fps 10
1

命令参数解释：

执行后的目录结构如下：

运行instent-ngp：

instant-ngp.exe --scene data\data_laptop\transforms.json
1

但是运行的时候报错了： ERROR Uncaught exception: No training images were found for NeRF training!。

我对比了一下官方fox文件夹里给的transforms.json写的图片路径，发现，我保存的路径有问题（但我还不知道是哪段代码导致存储的是这个路径）

所以将我的transforms.json写的图片路径改成和官方示例一样：

再次执行，成功。结果如下：