计算机视觉——基础矩阵F实现图像处理_两幅图像的f矩阵

前言：同一三维场景在不同视点处得到的两幅二维图像之间的几何关系——极几何以及极几何的代数表示——基础矩阵。两幅图像是可以由两个摄像机在不同位置同时采集的，也可以是同一摄像机顺序采集，这两种情况在几何上认为都是相等的。例如摄像机相对场景移动。一般地，同一世界坐标系下的同一物体的图像间存在一种集合上的对极约束关系。在立体视觉中，可以用图像点的匹配来恢复这种几何关系，反之，也可以用几何关系来约束匹配，使得对应点的搜索范围由二维平面降为一位极线，使得匹配的鲁棒性、精度都得到很大提高。对极几何关系在数学上可以用基础矩阵 F 来表示，将对极几何问题转化为对基础矩阵 F 的估计问题，精准地计算对于标定、寻找精准匹配和三维重建都具有重要意义。

（一）基础矩阵原理

（1）对极几何

假设在一个立体视觉系统中，有两个摄像机（即双目标定），如图2.1所示，设C和C'分别为两个摄像机的光心，两个摄像机所拍摄的图像分别为 I 和 I' ,M 为三维空间中任意一点（即世界坐标点）；m 和m' 是点M在两个图像上的投影点，同时也是一对对应点；两节光心C 和C'的直线称为基线。空间点M和两个光心点C和C'共面，设共面的平面为 π（称为极平面），改极平面与图像平面的交线l 和 l' 称为极线。因为两个摄像机的投影点也同时在平面 π 和像平面 l 和 l' 上。所以可看出，寻找两个图像之间的对应点不必在整幅图像中寻找，只需要在相对应的极线上寻找即可。此时，就需要提供一个重要的极线约束，将对应点的搜索空间从二维降到一维。当三维空间的M点移动时，产生的对所有极线都穿过极点e(e')，极点是极线与图像平面的角点。

 

对极平面 = 包含基线的平面

对极线 = 对极平面与像平面的交线
 

1、参考坐标系

为了描述基础矩阵，首先需要定义四个参考坐标系：图像坐标系、成像平面坐标系、摄像机坐标系、世界坐标系。摄像机采集的数字图像可有由计算机存储为数组形式，数组的每一个元素（称为像素）的值及是图像的亮度。在图像上定义直角坐标系u-v,那么（u ,v 是以像素为单位的图像坐标系坐标），如图2.2所示：

图2.2所示的x-y坐标系中，原点O1定义在摄像机光轴和图像平面的交点处，称为图像的主点，位于图像中心处。若O1在u-v坐标系中坐标为（u0,v0）,每个像素在x轴和y轴方向上的物理尺寸为dx,dy,则像个坐标系之间的关系为：

摄像机成像几何关系可由图2.3表示，C为光心，Xc轴和Yc轴与成像平面坐标系的X轴和Y轴平行，Zc轴与成像平面垂直（称为摄像机光轴），光轴与成像平面的交点为主点C1，CC1为摄像机焦距，从而组成了摄像机坐标系。我们用世界坐标来描述真实世界环境中摄像机和物体的位置，摄像机坐标系和世界坐标系之间的关系可用旋转矩阵 R 与平移向量 t 来表示，由此，空间点M在世界坐标系和摄像机坐标系下的齐次坐标 存在旋转矩阵R的关系，R是一个3*3的旋转矩阵，t是3维的平移向量

，K为摄像机内参矩阵。

2.摄像机模型

一种基于平面棋盘格的标定，首先应该从两个平面的单应性(homography)映射开始着手。单应性(homography)：在计算机视觉中被定义为一个平面到另一个平面的投影映射。首先看一下，图像平面与标定物棋盘格平面的单应性。

  摄像机模型得到：

其中m的齐次坐标表示图像平面的像素坐标(u,v,1)，M的齐次坐标表示世界坐标系的坐标点(X,Y,Z,1)。A[R t]即是上面一篇博客推出的P。R表示旋转矩阵、t表示平移矩阵、S表示尺度因子。A表示摄像机的内参数,具体表达式如下：

3.基础矩阵

 

设世界点X在像平面C，C'坐标系中的相对坐标分别p，p'，则有

 

其中在两幅图像上（即像平面）的投影点X 和X'的坐标值及P 和P'坐标值为：

              

则根据三线共面，有

推到情况：T为三维向量，T=（Tx,Ty,Tz），称下面S矩阵为T的反对称矩阵（反对称矩阵秩为2）。令T*p=S*p代入式子左边得到：