三维重建领域_常用算法简介_3d重建算法

目录

1. 三维重建领域， SFM效果较好的算法或者框架有哪些？

2. MVE、NVM、AliceVision

3. OpenMVG各个模块的功能，特点，适用场景，优缺点？

OpenMVG的特点和优势：

OpenMVG的适用场景：

OpenMVG的缺点：

4. OpenMVG中的MVS模块，输入/输出/数据格式分别是什么？

---

其它参考： 一篇文章教你学会使用三维重建知名开源系统 - 知乎

1. 三维重建领域， SFM效果较好的算法或者框架有哪些？

在三维重建领域，SFM（Structure From Motion）是一种常用的技术，可以从一系列的二维图像中恢复出三维场景的结构和运动。

以下是一些在SFM领域效果较好的算法或框架：

1. OpenMVG（Open Multiple View Geometry）：是一个开源的多视图几何库，提供了一整套的三维重建流程，包括图像匹配、相机姿态估计、三维点云重建等功能。它的优点在于对大规模场景有较好的适应性，并且支持GPU加速。

2. COLMAP：是一个基于图像的三维重建工具，它提供了多种图像匹配算法以及相机姿态估计算法，并且可以处理大规模数据集。COLMAP的另一个优点是支持多种输入格式，包括普通的图像序列、视频、SfM数据集等。

3. Bundler：是一个经典的SFM框架，其核心思想是通过匹配多个视角下的特征点来计算相机位姿，并且通过三角化得到场景的三维重建结果。虽然Bundler已经很久没有更新了，但是其思想和方法依然被很多研究者所采用。

4. VisualSFM：是一个基于Bundler的图形化三维重建工具，它集成了多种特征提取和匹配算法，并且支持多种输入格式。VisualSFM的一个优点在于可以进行密集匹配，从而得到更加细致的重建结果。

除了上述算法和框架之外，还有很多其他的SFM算法和工具，如MVE、NVM、AliceVision等，研究者可以根据自己的需要选择合适的工具进行研究和应用。

2. MVE、NVM、AliceVision

1. MVE（Multi-View Environment）：是一个开源的基于多视图图像的三维重建工具，其核心思想是通过密集匹配和多视角三角化来重建场景的三维结构。MVE具有良好的可扩展性和鲁棒性，可以处理数千张图像的大规模数据集。另外，MVE还提供了一些额外的功能，如点云滤波、纹理生成等。

2. NVM（Nimble Vision Model）：是一种基于稀疏特征点的三维重建算法，它主要针对小规模场景的重建。NVM的核心思想是通过匹配稀疏特征点来计算相机位姿，并且通过三角化得到场景的三维结构。与其它基于稠密匹配的算法相比，NVM具有更好的可扩展性和更高的计算效率。

3. AliceVision：是一个基于开源工具库的三维重建软件，其核心组件包括图像匹配、相机姿态估计、三维点云重建等。AliceVision采用了多种特征提取和匹配算法，并且支持多种输入格式。AliceVision的另一个优点在于可以处理不同类型的相机，包括普通相机、摄像机和激光扫描仪等。

总之，MVE、NVM和AliceVision都是非常流行的三维重建工具，它们在不同的应用场景下都有其优点和适用性。研究者可以根据自己的需求选择合适的工具进行研究和应用。

3. OpenMVG各个模块的功能，特点，适用场景，优缺点？

OpenMVG（Open Multiple View Geometry）是一个开源的多视图几何库，提供了一整套的三维重建流程，包括图像匹配、相机姿态估计、三维点云重建等功能。其模块包括：

1. 图像特征提取和匹配模块（features）：用于提取图像中的特征点并进行特征匹配。支持多种特征提取算法和匹配策略，包括SIFT、SURF、AKAZE等。

2. 基础矩阵估计和几何校正模块（matching）：用于计算基础矩阵和相机的几何校正，以便进行后续的三维重建。支持多种基础矩阵估计算法和几何校正方法，包括8点法、RANSAC等。

3. 相机姿态估计模块（sfm）：用于估计相机的姿态和场景的结构。支持多视图几何算法和优化方法，包括基于三角测量和重投影误差的方法、Bundle Adjustment等。

4. 密集点云和网格重建模块（mvs）：用于从稀疏的点云数据中生成稠密的点云和三角网格。支持多种点云重建算法和三角网格生成方法，包括Poisson重建、Ball Pivoting等。

OpenMVG的特点和优势：

1. 支持多种图像特征提取和匹配算法，包括SIFT、SURF、AKAZE等，可以适应不同的应用场景。

2. 提供了一整套的三维重建流程，包括图像匹配、相机姿态估计、三维点云重建等，方便用户进行三维重建研究和应用。

3. 支持多视图几何算法和优化方法，可以估计相机的姿态和场景的结构，并提供了多种几何校正方法和重建算法。

4. 支持多种输入和输出格式，包括常见的图像格式、点云格式和三角网格格式，方便用户进行数据交换和处理。

OpenMVG的适用场景：

1. 三维建模和重建：OpenMVG可以从多张图像中估计相机的姿态和场景的结构，生成稀疏和稠密的点云数据，并进行三角网格重建，用于建立三维模型和重建真实场景。

2. 视觉SLAM：OpenMVG可以作为视觉SLAM中的基础模块，用于实时估计相机的姿态和地图的结构，实现机器人的自主导航和环境感知。

3. 图像检索和匹配：OpenMVG可以用于图像检索和匹配，提取图像中的特征点和描述子，并进行特征匹配和相似性比较，用于实现图像搜索和识别等功能。

OpenMVG的缺点：

1. 对计算资源要求较高：OpenMVG需要大量的计算资源和存储空间来处理大规模的图像数据，对计算机的CPU和内存要求较高，可能会导致处理时间较长或者内存不足的问题。

2. 依赖于其他开源库：OpenMVG依赖于多个其他开源库，包括OpenCV、Eigen、Boost等，需要事先安装和配置好这些库才能使用。

3. 难以上手：OpenMVG的使用难度较大，需要一定的计算机视觉和三维重建基础，对新手用户不太友好。

总体来说，OpenMVG是一个功能强大的三维重建库，适用于建立三维模型和重建真实场景、视觉SLAM和图像检索等应用场景，但需要充足的计算资源和一定的技术储备才能使用。

4. OpenMVG中的MVS模块，输入/输出/数据格式分别是什么？

OpenMVG中的MVS模块（Multi-View Stereo，多视图立体重建）可以将多个视角下的二维图像重建成三维模型。其输入是经过相机标定、图像特征提取、视觉几何计算和图像匹配后的视角和对应的匹配信息，输出是由视角点云构成的稠密三维点云和纹理贴图。

具体来说，MVS模块的输入包括以下几个部分：

1. 相机参数文件：包括相机内参和外参等信息，用于计算三维坐标和投影矩阵。

2. 特征点和描述子：经过特征提取和匹配后的视角特征点和对应的描述子。

3. 匹配信息：视角之间的匹配信息，包括匹配的特征点对和对应的匹配距离。

4. 图像数据：多个视角下的二维图像数据。

MVS模块的输出包括以下几个部分：

1. 稠密点云：由多个视角点云构成的稠密三维点云，其中每个点的坐标和颜色信息都被确定。

2. 纹理贴图：将稠密点云的颜色信息映射到纹理贴图上，用于模型的可视化和渲染。

OpenMVG中的MVS模块可以接受多种数据格式的输入，包括视角和匹配信息的JSON文件格式、二进制Ply格式的点云和纹理图像、以及输入数据的OpenMVG二进制文件格式。同时，OpenMVG的MVS模块也支持输出不同格式的稠密点云和纹理贴图，包括Ply、OBJ、FBX等格式，方便用户进行后续处理和可视化。