2023面试高手

这个屌丝很懒，什么也没留下！

热门标签

三维重建（5）--双目立体视觉_双目重建3d

作者：2023面试高手 | 2024-05-28 14:15:44

踩

双目重建3d

一、平行视图

1、平行视图基础矩阵

由于基础矩阵 $F=e' \times K'RK^{-1}$ ，在平行视图情况下，极点交于无穷远处，所以我们可以假定极点 $e'=[1,0,0]^T$ ，平行视图下， $K=K'$ ， $R=I$ ，那么对于平行视图有：

$F=e \times K'RK^{-1}=e \times I=\begin{bmatrix} 0 &0 &0 \\ 0 &0 &-1 \\ 0 &1 &0 \end{bmatrix}$

2、平行视图极几何

（1）极线是水平的，平行于u轴。平行视图肯定只在u轴方向有所变换，可以不用证明，数学证明用一般情况下基础矩阵的性质 $l=F^Tp'$ 。

（2）平行视图下，p和p'在v轴方向坐标相同，即垂直方向没有变换。

（3）极点位于无穷远处

（4）已知p和F的情况下，p'只需要按着扫描线寻找即可，扫描线指的是过p且平行于u轴的线。

3、三角测量

一般来说，平行视图构建时，两个摄像机的各项参数基本一致，焦距也一致。如果已知两个像的视差 $p_u-p_u'$ （即两个像在u轴方向的距离），已知焦距f，已知两个摄像机在u轴方向的距离B，那么我们可以通过相似关系推导出深度z，视差与深度z成反比：

$z=\frac{B \cdot f}{p_u-p_u'}$

4、平行视图应用

（1）视差图/深度图

平行视图中的视差图，根据两台平行摄像机在不同角度观察同一物体或场景时，由于视角差异造成图像的差异进而推断出物体的深度和距离，得到一副深度信息图，可以用于对物体或场景的三维重建和识别。

（2）3D电影的应用

3D电影通过用两个摄像头同时模拟拍摄同一场景，模拟人眼双眼视觉，再将两个平行视图分别投影到屏幕上，由于使用特殊的偏振式眼睛，通过人眼的立体视觉原理，会给观众感知到一种立体的深度效果。

二、图像校正

图像校正：使一组非平行视图通过校正构建成平行视图。

图像校正步骤：

（1）在两幅图像l和l'找到一组匹配点 $p_i\leftrightarrow p_i'$ ，不少于8个。

（2）计算基础矩阵F（八点法），求解两幅图像中的极点e和e'。

求解e和e'，利用基础矩阵性质 $l_i=F^Tp_i'$ 可以列出求解多个 $l_i$ ，由于所有极线都过极点 $l_i^Te=0$ 可以列出一个齐次线性方程组，解出e的值，同理也可以解出e'。

（3）选择透视变换H'将e'映射到无穷远点（f,0,0），也就是对H'进行变换，变换公式: $H'=T^{-1}GRT$

（4）对透视变换矩阵H进行变换，使得经过H和H'变换后的两个像平面满足平行视图要求，在第（3）步中H'已经达到平行视图性质，由于平行视图上两个像平面的点应该满足 $p_u=p_u'$ ，即u轴方向偏移相同，那么我们可以做反运算，对于多组点i情况下满足 $min(\sum_id(Hp_i,H'p_i'))$ 下，求解H。

（5）分别利用新的矩阵H和H',对左右两幅图像l和l'进行重采样，得到一组平行视图。

三、对应点搜索

对应点搜索问题，即根据p点寻找对应p'点的问题，我们根据平行视图极几何关系可知，p'点一定在扫描线上，这样进一步缩小的检索范围。

1、相关匹配法

相关匹配法通过基于一些相似性度量方法，计算区域之间的相似程度，来确定对应点位置。

在这里我们介绍一种相关匹配方法，通过点与点之间3*3窗口的相关性来进行判断，注意该方法取对应点组3*3窗口做了flatten之后的点乘均值最大化，作为相关性标准，该方法可行依据在于，一般情况下一个图像上像素颜色或灰度的变化是平滑的，这样近似相同点平方的最大值的和，理论上大于高偏差点平方的最大值的和。