使用 OpenMVG+PMVS实现视觉三维重建

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

一、什么是视觉三维重建？

我们知道，照相机的原理是将一个三维场景投影到二维平面。所谓视觉三维重建，顾名思义就是从已有的二维图像中复原原始三维场景。

三维重建的原理大致如下：

• 首先，通过多角度拍摄或者从视频中提取得到一组图像序列，将这些图像序列作为三维重建系统的输入；

• 然后分析多个视角的图像，根据纹理特征提取出稀疏特征点（稀疏点云），通过这些特征点估计相机位置和参数；

• 在得到相机参数并完成特征点匹配后，就可以获得更稠密的点云（这些点可以附带颜色，从远处看就像还原了物体本身一样，但从近处能明显看出它们只是一些点）；

• 最后根据这些点重建物体表面，并进行纹理映射，就还原出三维场景和物体了。

基于图像的三维重建基本流程

多张图像的特征点匹配

多视图稠密重建（MVS）

目前，有不少开源的三维重建系统，本文简单介绍使用OpenMVG（有CUDA的可以用colmap）+PMVS（OpenMVS安装的坑比较多），实现三维场景的三维重建。

二、OpenMVG/PMVS概述

openMVG (Open Multiple View Geometry)：开源多视角立体几何库，这是一个 cv 界处理多视角立体几何的著名开源库，信奉“简单，可维护”，提供了一套强大的接口，每个模块都被测试过，尽力提供一致可靠的体验。

openMVG 实现以下典型应用：

• 解决多视角立体几何的精准匹配问题；

• 提供一系列 SfM 需要用到的特征提取和匹配方法；

• 完整的 SfM 工具链（校正，参估，重建，表面处理等）；

• openMVG 尽力提供可读性性强的代码，方便开发者二次开发，核心功能是尽量精简的，所以你可能需要其它库来完善你的系统。

CMVS-PMVS（a modified version）：将运动结构（SfM）软件的输出作为输入，然后将输入图像分解成一组可管理大小的图像簇。MVS 软件可以用来独立和并行地处理每个簇，其中来自所有簇的重建不错过任何细节。

常见的多视图三维重建管线：重建稀疏点云-Structure from Motion(Sfm)→重建稠密点云-Multi-View Stereo(MSV)→重建表面-Surface Generation(SG)→纹理映射-Texture Mapping(TM）

在本文中，OpenMVG负责从原始图像到稀疏点云，PMVS负责重建稠密点云、重建表面和纹理映射。我这里还使用了Meshlab查看模型（点云）生成效果。

三、安装OpenMVG+PMVS（Ubuntu16）

OpenMVG安装过程：（参考：openMVG官方BUILD.md）

# 安装依赖
sudo apt-get install libpng-dev libjpeg-dev libtiff-dev libxxf86vm1 libxxf86vm-dev libxi-dev libxrandr-dev graphviz
 
# 克隆代码
git clone --recursive https://github.com/openMVG/openMVG.git
 
# configure && build
mkdir openMVG_Build && cd openMVG_Build
cmake -DCMAKE_BUILD_TYPE=RELEASE ../openMVG/src/   -DOpenMVG_BUILD_TESTS=ON
sudo cmake --build . --target install
 
# test
make test
ctest --output-on-failure -j
 
# .bashrc
export PATH=$PATH:/home/work/tools/openMVG_Build/Linux-x86_64-RELEASE/
 
 

CMVS-PMVS安装过程：

git clone https://github.com/pmoulon/CMVS-PMVS.git
cd CMVS-PMVS
mkdir build && cd build
cmake ../program/
make
sudo cp main/pmvs2 main/genOption main/cmvs /usr/local/bin/

四、三维重建实例（城堡）

1. OpenMVG提取稀疏点云（参考：openMVG使用示例）

原始数据：11张从不同角度拍摄的城堡照片

openMVG提取稀疏点云过程：（参考openMVG_Build/software/SfM/tutorial_demo.py，测试图片和脚本：openmvg_test.tar）

cd openMVG
vim 3dr_test.py
 
#!/usr/bin/python
#! -*- encoding: utf-8 -*-
# openmvg使用示例
# usage : python tutorial_demo.py
 
import os
import subprocess
import sys
 
# openmvg编译bin目录(可cp -p到/usr/local/bin/)
OPENMVG_SFM_BIN = "/home/work/tools/openMVG_Build/Linux-x86_64-RELEASE"
# pmvs编译bin目录(可cp -p到/usr/local/bin/)
PMVS_BIN = "/home/work/tools/CMVS-PMVS/build/main"
# openmvg相机参数目录
CAMERA_SENSOR_WIDTH_DIRECTORY = "/home/work/tools/openMVG/src/openMVG/exif/sensor_width_database"
 
 
# 0. 下载测试照片
os.chdir(os.path.dirname(os.path.abspath(__file__)))
data_dir = os.path.abspath("./book")
#data_dir = os.path.abspath("./ImageDataset_SceauxCastle")
'''if not os.path.exists(data_dir):
  pImageDataCheckout = subprocess.Popen([ "git", "clone", "https://github.com/openMVG/ImageDataset_SceauxCastle.git" ])
  pImageDataCheckout.wait()'''
input_dir = os.path.join(data_dir, "images")
output_dir = data_dir
print ("Using input dir  : ", input_dir)
print ("      output_dir : ", output_dir)
matches_dir = os.path.join(output_dir, "matches")
camera_file_params = os.path.join(CAMERA_SENSOR_WIDTH_DIRECTORY, "sensor_width_camera_database.txt")    #相机参数
if not os.path.exists(matches_dir):
  os.mkdir(matches_dir)
 
# 1. 从图片数据集中生成场景描述文件sfm_data.json
print ("----------1. Intrinsics analysis----------")
pIntrisics = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_SfMInit_ImageListing"),  "-i", input_dir, "-o", matches_dir, "-d", camera_file_params, "-c", "3"] )
#*注：如果产出的sfm_data.json里intrinsics内容为空，通常是在图片没有exif信息导致获取不到相机焦距、ccd尺寸等参数，用带exif的原图即可。
pIntrisics.wait()
 
# 2. 计算图像特征
print ("----------2. Compute features----------")
pFeatures = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeFeatures"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-m", "SIFT", "-f" , "1"] )
pFeatures.wait()
 
# 3. 计算几何匹配
print ("----------3. Compute matches----------")
pMatches = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeMatches"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-f", "1", "-n", "ANNL2"] )
pMatches.wait()
 
# 4. 执行增量三维重建
reconstruction_dir = os.path.join(output_dir,"reconstruction_sequential")
print ("----------4. Do Incremental/Sequential reconstruction----------") #set manually the initial pair to avoid the prompt question
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_IncrementalSfM"),  "-i", matches_dir+"/sfm_data.json", "-m", matches_dir, "-o", reconstruction_dir] )
pRecons.wait()
 
# 5. 计算场景结构颜色
print ("----------5. Colorize Structure----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeSfM_DataColor"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", os.path.join(reconstruction_dir,"colorized.ply")] )
pRecons.wait()
 
# 6. 测量稳健三角
print ("----------6. Structure from Known Poses (robust triangulation)----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeStructureFromKnownPoses"),  "-i", reconstruction_dir+"/sfm_data.bin", "-m", matches_dir, "-o", os.path.join(reconstruction_dir,"robust.ply")] )
pRecons.wait()
 
'''
# 使用全局SfM管道重建Reconstruction for the global SfM pipeline
# 3.1 全局sfm管道几何匹配
print ("----------3.1. Compute matches (for the global SfM Pipeline)----------")
pMatches = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeMatches"),  "-i", matches_dir+"/sfm_data.json", "-o", matches_dir, "-r", "0.8", "-g", "e"] )
pMatches.wait()
# 4.1 执行全局三维重建
reconstruction_dir = os.path.join(output_dir,"reconstruction_global")
print ("----------4.1. Do Global reconstruction----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_GlobalSfM"),  "-i", matches_dir+"/sfm_data.json", "-m", matches_dir, "-o", reconstruction_dir] )
pRecons.wait()
# 5.1 计算场景结构颜色
print ("----------5.1. Colorize Structure----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeSfM_DataColor"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", os.path.join(reconstruction_dir,"colorized.ply")] )
pRecons.wait()
# 6.1 测量稳健三角
print ("----------6.1. Structure from Known Poses (robust triangulation)----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_ComputeStructureFromKnownPoses"),  "-i", reconstruction_dir+"/sfm_data.bin", "-m", matches_dir, "-o", os.path.join(reconstruction_dir,"robust.ply")] )
pRecons.wait()
'''
 
# 7. 把openMVG生成的SfM_Data转为适用于PMVS输入格式的文件
print ("----------7. Export to PMVS/CMVS----------")
pRecons = subprocess.Popen( [os.path.join(OPENMVG_SFM_BIN, "openMVG_main_openMVG2PMVS"),  "-i", reconstruction_dir+"/sfm_data.bin", "-o", reconstruction_dir] )
pRecons.wait()
#*注：执行后会在-o路径下生成一个PMVS目录，包含 models, txt, visualize 三个子目录：models为空；txt包含对应图像的txt文档，每个里面都是一个3x4的矩阵，大概是相机位姿；visualize包含11张图像，不确定是原图像还是校正过的图像
 
# 8. 使用PMVS重建稠密点云、表面、纹理
print ("----------8. pmvs2----------")
pRecons = subprocess.Popen( [os.path.join(PMVS_BIN, "pmvs2"),  reconstruction_dir+"/PMVS/", "pmvs_options.txt"] )  # 注：不要修改pmvs_options.txt文件名
pRecons.wait()
#*注：执行后会在./PMVS/models文件夹中生成一个pmvs_options.txt.ply点云文件，用meshlab打开即可看到重建出来的彩色稠密点云。
 
 
#执行三维重建测试
python 3dr_test.py

2.安装MeshLab，查看生成的稀疏点云文件：

下载安装：http://www.meshlab.net/#download

右上方俯视城堡稀疏点云 ：（打开reconstruction_xxx下的colorized.ply或robust.ply）

3.PMVS重建稠密点云、重建表面和纹理映射过程：（测试生成的PMVS目录：pmvs_test.tar）

# 1.  把openMVG生成的SfM_Data转为适用于PMVS输入格式的文件
cd openMVG/ImageDataset_SceauxCastle/reconstruction_global/
openMVG_main_openMVG2PMVS -i sfm_data.bin -o ./
*注：执行后会在-o路径下生成一各PMVS目录，包含 models, txt, visualize 三个子目录：models为空；txt包含对应图像的txt文档，每个里面都是一个3x4的矩阵，大概是相机位姿；visualize包含11张图像，不确定是原图像还是校正过的图像
 
# 2. 使用PMVS重建稠密点云、表面、纹理
pmvs2 ./PMVS/ pmvs_options.txt    # 注：不要修改pmvs_options.txt文件名
*注：执行后会在./PMVS/models文件夹中生成一个pmvs_options.txt.ply点云文件，用meshlab打开即可看到重建出来的彩色稠密点云。

生成的三维稠密点云俯视角：

五、三维重建实例（书）

1.准备照片

注意事项：

• 自己拍的照片必须确保照片里有exif信息！（光圈、焦距、品牌、ccd尺寸等），定位拍摄姿态和角度等用，没有会很麻烦；不要用微信/Hi等工具传，exif信息会丢失（选原图也会丢），亲测AirDrop(隔空投送)是不会丢的；

• 照片最少准备3张以上，否则大概率重建失败；

拿手边的书随便拍了几张：book.zip

2.三维重建

python 3dr_test.py

六、常见问题

1.openMVG_main_IncrementalSfM: error while loading shared libraries: liblapack.so: cannot open shared object file: No such file or directory

解决方法：

$ which openMVG_main_IncrementalSfM
/usr/local/bin/openMVG_main_IncrementalSfM
$ ll openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM
openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM
#经过对比测试发现/usr里确实是最新build的文件，但链接关系貌似有问题；直接使用openMVG_Build/Linux-x86_64-RELEASE/openMVG_main_IncrementalSfM就能正常
$ sudo cp ../openMVG_Build/Linux-x86_64-RELEASE/*  /usr/local/bin/   #整体cp覆盖后恢复正常

2.type INITIAL pair ids: X enter Y enter

----------------------------------------------------
SequentialSfMReconstructionEngine::ChooseInitialPair
----------------------------------------------------
 Pairs that have valid intrinsic and high support of points are displayed:
 Choose one pair manually by typing the two integer indexes
----------------------------------------------------
 
(1,5)		77 matches
(2,4)		39 matches
(0,2)		39 matches
(3,7)		31 matches
(2,5)		29 matches
(2,3)		19 matches
(0,1)		18 matches
 
 type INITIAL pair ids: X enter Y enter
2
4
 
Putative starting pair is: (2,4)
A-Contrario initial pair residual: 7.61613

SfM过程中遇到这个提示，可以按以上方式输入跳过，不过通常这时照片的质量堪忧，不要指望建出来预期的效果了，不如老老实实多重拍些，用视频切桢也行。

七、其他

生成的三维点云数据如果要用于自动驾驶避障，最好增加超声波、毫米波雷达，并把各传感器生成的点云与视觉重建点云进行融合。对融合后的点云数据进行噪点清理、三维目标检测，生成三维障碍物的类型/大小/位置信息，再根据三维空间的行进方向进行避障路径规划。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~