- 1吴恩达机器学习：实践实验室-应用机器学习的建议（Advice for Applying ）
- 2大量HW红队+蓝队文档下载-定期更新
- 3springboot273基于JavaWeb的宠物商城网站设计与实现_基于web宠物用品电商平台
- 4【基于机器学习的餐馆评论文本分类分析】_restaurant classification
- 5字符串的初始化及数组、指针_字符串指针数组初始化
- 6Git 和 Git Extensions Windows 安装_gitextension和git
- 7.vimrc文件的语句语法
- 8Flutter工程显示“no devices”_flutter error: no devices/emulators found
- 9Google 的 C++编程规范_google cpp 规范 常量
- 10特征工程（下）
双目深度估计——视差到深度的两种推导方法
赞
踩
双目深度估计——视差到深度的两种推导方法
0. 基本假设
假设双目系统是标准形式，即：
- 两相机内参数相同，即焦距、分辨率等参数一致；
- 两相机光轴平行；
- 成像平面处于同一水平线；
假设以左相机坐标系为主坐标系，也就是说两相机只存在X轴方向上的平移变换。
1. 几何法（直观）
设上面的所有长度的单位为m
- 由上图标准双目立体系统俯视图所示， O L O_{L} OL、 O R O_{R} OR分别为左右相机光心， b b b为两相机基线长度， P P P为空间中的一点， P L P_{L} PL、 P R P_{R} PR分别为 P P P在左右相机成像平面上的像点， f f f为相机的焦距。
- 由
△
O
L
A
P
∼
△
O
L
C
P
L
\bigtriangleup O_{L}AP \sim \bigtriangleup O_{L}CP_{L}
△OLAP∼△OLCPL和
△
O
R
B
P
∼
△
O
R
D
P
R
\bigtriangleup O_{R}BP \sim \bigtriangleup O_{R}DP_{R}
△ORBP∼△ORDPR可得：
- Z f = P A x L − x C = P B x D − x R = P A + P B x L − x R + ( x D − x C ) = b d + ( x D − x C ) \frac{Z}{f}=\frac{PA}{x_{L}-x_{C}}=\frac{PB}{x_{D}-x_{R}}=\frac{PA+PB}{x_{L}-x_{R}+(x_{D}-x_{C})}=\frac{b}{d+(x_{D}-x_{C})} fZ=xL−xCPA=xD−xRPB=xL−xR+(xD−xC)PA+PB=d+(xD−xC)b进而得到：
- Z = b f d + ( x D − x C ) Z=\frac{bf}{d+(x_{D}-x_{C})} Z=d+(xD−xC)bf，由于两相机参数相等，因此 x D − x C = 0 x_{D}-x_{C}=0 xD−xC=0，故而有：
- Z = b f d Z=\frac{bf}{d} Z=dbf
其中 d = x L − x R d=x_{L}-x_{R} d=xL−xR为对应点的视差值
2. 相机参数推导法
由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有：
- 相机内参数：
K
L
=
K
R
=
K
=
[
f
x
γ
u
0
0
f
y
v
0
0
0
1
]
K_{L}=K_{R}=K=KL=KR=K= fx00γfy0u0v01 ；
⎡⎣⎢fx00γfy0u0v01⎤⎦⎥ - 相机外参数（以右相机到左相机为例）：
R
R
−
>
L
=
E
R_{R->L}=E
RR−>L=E，
t
R
−
>
L
=
[
t
x
t
y
t
z
]
=
[
b
0
0
]
t_{R->L}==
⎡⎣⎢txtytz⎤⎦⎥ tR−>L= txtytz = b00 ⎡⎣⎢b00⎤⎦⎥ - 设：
P
O
L
P_{OL}
POL、
P
O
R
P_{OR}
POR、
P
L
P_{L}
PL、
P
R
P_{R}
PR的坐标分别为
P
O
L
=
[
X
L
Y
L
Z
L
]
P_{OL}=POL= XLYLZL 、 P O R = [ X R Y R Z R ] P_{OR}=
⎡⎣⎢XLYLZL⎤⎦⎥ POR= XRYRZR 、 P L = [ u L v L 1 ] P_{L}=⎡⎣⎢XRYRZR⎤⎦⎥ PL= uLvL1 、 P R = [ u R v R 1 ] P_{R}=⎡⎣⎢uLvL1⎤⎦⎥ PR= uRvR1 ；⎡⎣⎢uRvR1⎤⎦⎥
P O L , P O R P_{OL},P_{OR} POL,POR为左右相机坐标系下的P点坐标， P L P_{L} PL和 P R P_{R} PR为像素坐标，相机内外参详解请参考相机模型
根据小孔成像模型，有：
-
P L = [ u L v L 1 ] = K L 1 Z L P O L = K L 1 Z L [ X L Y L Z L ] P_{L}=
=K_{L}\frac{1}{Z_{L}}P_{OL}=K_{L}\frac{1}{Z_{L}}⎡⎣⎢uLvL1⎤⎦⎥ PL= uLvL1 =KLZL1POL=KLZL1 XLYLZL ⎡⎣⎢XLYLZL⎤⎦⎥ -
P R = [ u R v R 1 ] = K R 1 Z R P O R = K R 1 Z R [ X R Y R Z R ] P_{R}=
=K_{R}\frac{1}{Z_{R}}P_{OR}=K_{R}\frac{1}{Z_{R}}⎡⎣⎢uRvR1⎤⎦⎥ PR= uRvR1 =KRZR1POR=KRZR1 XRYRZR ⎡⎣⎢XRYRZR⎤⎦⎥ -
P O L = R R − > L P O R + t R − > L = E P O R + t R − > L = P O R + [ b 0 0 ] P_{OL}=R_{R->L}P_{OR}+t_{R->L}=EP_{OR}+t_{R->L}=P_{OR}+
POL=RR−>LPOR+tR−>L=EPOR+tR−>L=POR+ b00 ⎡⎣⎢b00⎤⎦⎥
联立上面三个等式可以得到：
-
P
L
−
P
R
=
[
u
L
−
u
R
v
L
−
v
R
0
]
=
K
1
Z
[
b
0
0
]
P_{L}-P_{R}==K\frac{1}{Z}
⎡⎣⎢uL−uRvL−vR0⎤⎦⎥ PL−PR= uL−uRvL−vR0 =KZ1 b00 ⎡⎣⎢b00⎤⎦⎥
由左右相机成像平面在同一水平线上，那么v坐标相等，即 v L − v R = 0 v_{L}-v_{R}=0 vL−vR=0；
左右相机内参相等，都为 K = [ f x γ u 0 0 f y v 0 0 0 1 ] K=
K= fx00γfy0u0v01 ；⎡⎣⎢fx00γfy0u0v01⎤⎦⎥ Z L = Z R = Z Z_{L}=Z_{R}=Z ZL=ZR=Z。
展开得：
-
[
u
L
−
u
R
0
0
]
=
[
f
x
γ
u
0
0
f
y
v
0
0
0
1
]
1
Z
[
b
0
0
]
=
[
b
f
x
Z
0
0
]
=
⎡⎣⎢uL−uR00⎤⎦⎥ \frac{1}{Z}⎡⎣⎢fx00γfy0u0v01⎤⎦⎥ =⎡⎣⎢b00⎤⎦⎥ uL−uR00 = fx00γfy0u0v01 Z1 b00 = Zbfx00 ；⎡⎣⎢⎢bfxZ00⎤⎦⎥⎥ - 设 d = u L − u R d=u_{L}-u_{R} d=uL−uR，有:
- Z = b f x d Z=\frac{bf_{x}}{d} Z=dbfx
注意，这里的单位并不一致，视差 d d d的单位是像素，基线 b b b的单位为m， f x f_{x} fx的单位为像素，请参考相机模型
3. 总结
几何法推导更加直观，可以帮助我们快速理解双目获取深度的原理；
相机参数推导法可以进一步加深我们对相机参数的理解，进一理解深度获取的本质问题。
