多视图三维重建-SFM简介_python多视角图像sfm

背景

掌握传统的多视图三维重建基本流程

总体流程

多视图三维重建的Pipieline如下图，总共分为四个步骤：

1. 拍摄场景多视角的图像
2. 建立这些图像之间的联系（Data Association）
3. SFM稀疏重建
4. MVS稠密重建
   

Data Association

建立图像之间的联系主要包含以下4个步骤：1）特征提取；2）特征匹配；3）基于几何的特征对验证；4）特征建树
1）图像的特征提取。
1.1）全局特征描述子
· Color histogram颜色直方图

· GIST feature
首先, 在4个尺度和8个方向上设置Gabor滤波器，并对图像做滤波，得到32个滤波后图像。
其次, 对滤波后图像分成44个区域，计算每个区域内像素均值。
最后, 得到4844=512个区域均值组成的特征向量，即为Gist512特征。
1.2）局部特征描述子
· SIFT & SURF & DSP-SIFT

· BRIEF
一种二进制描述、不具备旋转不变性，不具备尺度不变性

· OBR
ORB特征在速度方面相较于SIFT、SURF已经有明显的提升
同时，保持了特征子具有旋转与尺度不变性
2）特征匹配
特征匹配具有两条路线：
2.1）Matching
① 每个图像分别提取全部的特征
② 图像和图像之间搜索最佳匹配特征(最佳匹配也可能是误匹配)
③ 进一步SSD、SAD、NCC等块匹配方式来验证
2.2）Tracking
① 图像1中提取特征A
② 在图像2中，临近的图像位置处，寻找完全相同的特征A
③ 在图像3中再次寻找完全相同的特征A（在连续视频帧中、或两两拍摄场景的位置相差不多时有效）
3）基于几何的特征对验证
基于对极约束：图像中的一个点p1，在另一个图像中的匹配点p2，必然在极线L2上

由对极几何的约束关系，将特征对中不满足几何约束的误匹配点剔除，如下图中红色线描述的特征对

关于对极约束的描述，若是一般的场景下，匹配点对P1-P2之间满足如下用基础矩阵描述的关系：

当物体是一个接近平面的对象时，可利用平面单应性矩阵H(单应性变换 Homography Estimation)来表达两个视图中点的关系


根据已有的特征点对, 由于是存在误匹配点对的，因此，通常基于RANSAC来选择若干点对P1-P2求解稳定的F或H，然后利用F或H建立的对极约束，剔除不满足几何约束的特征点对。如下表所示，根据场景类型是通用的、平面类的、全景类的，使用合理的模型进行特征对验证。

F矩阵是一个3*3的矩阵，秩为2，且没有尺度信息，因此自由度为7，典型的解法是使用归一化8点法来获取求解最佳近似F矩阵。值得注意的是：系数矩阵的正则化和反正则化，其次，SVD得到的解不是最终解，需要进一步最佳估计满足F矩阵特质的解

基础矩阵F和本质矩阵E之间关系如下

在内参矩阵初始化后是已知的状态，那么根据F可以估计得到E矩阵，再由E矩阵和旋转矩阵R和平移量t满足的如下关系，来分解得到R,t

$[t_x]$是平移量的反对称矩阵，对于E进行SVD分解，在四对解中，带入实际的点，判断点和相机坐标系正、反方向的关系，获取正解

对于单应性矩阵H分解得到R，t的过程可以参考之前的博文H分解得到RT
4）特征建树
所有图像的特征描述建立搜索树，以便新的下一帧图像进行特征匹配时，快速的找到对应的特征及所在的图像ID

SFM稀疏重建

SFM（Structure From Motion）
· Structure —— 指场景的几何结构
· Motion —— 指相机从多个角度来获取场景图像的过程
· 输入：多角度同一场景的图像
· 输出：场景内物体的三维坐标、相机的位姿参数

在Data Association中，我们能够获取两两视图之间的R，t相对关系，接下来我们需要获取场景内关键点的三维坐标，以及各个视图的绝对位姿信息。主要有如下三个策略

• 增量式SFM
  Incremental Reconstruction的主要步骤包含：Initialization, Image Registration, Triangulation, Bundle Adjustment, Outlier Filtering, Reconstruction.
  
  1）Initialization.
  1.1) Choose two non-panoramic views (
  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/655390