二维平面成像模型(Models for transformations)(一)_transformation model image

  本节将介绍利用针孔相机对场景中2D平面成像的相关知识。在这种情况下，场景中2D平面上的点和像平面上的点满足一一对应的关系。

1 2D转换模型

转换模型：transformation model

1.1 Euclidean transformation model

  Euclidean transformation model描述场景中与像平面正面平行、距光心距离为$D$的平面上的点与像平面对应点的数学关系。
  首先假设世界坐标系的$u$-$v$平面与该平面重合，也即$w$轴与之垂直，则该平面上的点可表示为$w=[u,v,0{]}^T$。回想小孔成像的数学模型：
$$\lambda \tilde{x}=\Lambda [\Omega ,\tau ]\tilde{w}\text{\hspace{1em}(1)}$$
  应用此时的场景，便有：
λ [ x y 1 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 0 τ x ω 21 ω 22 0 τ y 0 0 1 D ] [ u v 0 1 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 τ x ω 21 ω 22 τ y 0 0 D ] [ u v 1 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 D ] [ ω 11 ω 12 τ x ω 21 ω 22 τ y 0 0 1 ] [ u v 1 ] (2) \lambda \left[

$$\begin{matrix} x\\y\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&0&\tau_x\\\omega_{21}&\omega_{22}&0&\tau_y\\0&0&1&D \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\0\\1 \end{matrix}$$ \right]\\ =\left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\0&0&D \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\\ =\left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&D \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\0&0&1 \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\tag{2} λ⎣⎡​xy1​⎦⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​0​ω12​ω22​0​001​τx​τy​D​⎦⎤​⎣⎢⎢⎡​uv01​⎦⎥⎥⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​0​ω12​ω22​0​τx​τy​D​⎦⎤​⎣⎡​uv1​⎦⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​D​⎦⎤​⎣⎡​ω11​ω21​0​ω12​ω22​0​τx​τy​1​⎦⎤​⎣⎡​uv1​⎦⎤​(2)
  上式中由倒数第二行到最后一行的变化为将距离$D$移到了$\Lambda$中，注意这样处理有利于后续的处理而且并不改变计算结果。之后我们再等式两边同时左乘${\Lambda }^{-1}$可得到：
$$\lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\omega }_{11}& {\omega }_{12}& {\tau }_x\\ {\omega }_{21}& {\omega }_{22}& {\tau }_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\text{\hspace{1em}(3)}$$
  上式便是Euclidean transformation. 还可表示为：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}{\omega }_{11}& {\omega }_{12}\\ {\omega }_{21}& {\omega }_{22}\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{\tau }_x\\ {\tau }_y\end{array}\right]\text{\hspace{1em}(4)}$$
  或者简记为：
$$x^{\prime }=euc[w,\Omega ,\tau ]\text{\hspace{1em}(5)}$$
  注意，Euclidean transformation只能刚性旋转和平移，虽然它表面上有6个未知参数，实际上只有3个参数(旋转角度$\theta$、平移参数${\tau }_x$和${\tau }_y$)，$\Omega$可表示为：
$$\left[\begin{array}{cc}{\omega }_{11}& {\omega }_{12}\\ {\omega }_{21}& {\omega }_{22}\end{array}\right]=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right]\text{\hspace{1em}(6)}$$

1.2 Similarity transformation model

  Similarity transformation model描述场景中与像平面正面平行、到光心距离未知的平面上的点与像平面对应点的数学关系。此时平面上坐标点$w=[u,v{]}^T$和对应投影点$x=[x,y{]}^T$的关系为：
λ [ x ′ y ′ 1 ] = [ ω 11 ω 12 τ x ω 21 ω 22 τ y 0 0 D ] [ u v 1 ] (7) \lambda \left[

$$\begin{matrix} x'\\y'\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\0&0&D \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\tag{7} λ⎣⎡​x′y′1​⎦⎤​=⎣⎡​ω11​ω21​0​ω12​ω22​0​τx​τy​D​⎦⎤​⎣⎡​uv1​⎦⎤​(7)
  等式两边同时乘以$\rho =1/D$得：
$$\rho \lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}\rho {\omega }_{11}& \rho {\omega }_{12}& \rho {\tau }_x\\ \rho {\omega }_{21}& \rho {\omega }_{22}& \rho {\tau }_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\text{\hspace{1em}(8)}$$
  再把$\lambda$、${\tau }_x$和${\tau }_y$前面的$\rho$并入可得：
$$\lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}\rho {\omega }_{11}& \rho {\omega }_{12}& {\tau }_x\\ \rho {\omega }_{21}& \rho {\omega }_{22}& {\tau }_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\text{\hspace{1em}(9)}$$
  上式便是Similarity transformation. 还可表示为：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}\rho {\omega }_{11}& \rho {\omega }_{12}\\ \rho {\omega }_{21}& \rho {\omega }_{22}\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{\tau }_x\\ {\tau }_y\end{array}\right]\text{\hspace{1em}(10)}$$
  或者简记为：
$$x^{\prime }=sim[w,\Omega ,\tau ,\rho ]\text{\hspace{1em}(11)}$$
  注意，Similarity transformation只能刚性旋转、平移和缩放，它比Euclidean transformation多了一个参数$\rho$。

1.3 Affine transformation model

  Affine transformation model被希望(后面将会看到这不可行)用来描述场景中任意位置的平面上的点与像平面对应点的数学关系：
λ [ x ′ y ′ 1 ] = [ ϕ 11 ϕ 12 τ x ϕ 21 ϕ 22 τ y 0 0 1 ] [ u v 1 ] (12) \lambda \left[

$$\begin{matrix} x'\\y'\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \phi_{11}&\phi_{12}&\tau_x\\\phi_{21}&\phi_{22}&\tau_y\\0&0&1 \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\tag{12} λ⎣⎡​x′y′1​⎦⎤​=⎣⎡​ϕ11​ϕ21​0​ϕ12​ϕ22​0​τx​τy​1​⎦⎤​⎣⎡​uv1​⎦⎤​(12)
  上式便是Affine transformation. 还可表示为：
$$\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}{\varphi }_{11}& {\varphi }_{12}\\ {\varphi }_{21}& {\varphi }_{22}\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{\tau }_x\\ {\tau }_y\end{array}\right]\text{\hspace{1em}(13)}$$
  或者简记为：
$$x^{\prime }=aff[w,\Phi ,\tau ]\text{\hspace{1em}(14)}$$
  注意，由于相机内部参数矩阵$\Lambda$也是一个仿射矩阵(最后一行前两个元素为0)，而两个仿射矩阵的乘积仍然是一个仿射矩阵，所以可以用仿射变换来直接描述像平面上点和场景中平面上对应点的数学关系。
  注意，仿射变换适用的条件为：场景中平面的深度变换比其到相机的平均距离小。这种情况一般表现为观察角度不是很倾斜、相机距离平面较远而且视角相对较小。除此以外的情况不适合用仿射变换来描述，这是因为仿射变换属于线性变换，线性变换的特点之一是平行的线变换后仍保持平行；而实际生活中，例如我们观察较远处的火车轨道时，它往往表现为将要交汇于某一点。

1.4 Projective transformation model

  透视变换可以描述从任意角度、任意距离观察任意大小物体时的坐标变化关系。此时，场景中平面上的点$w=[u,v,0{]}^T$和与之对应的像平面上的投影点的关系为：
λ [ x y 1 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 ω 13 τ x ω 21 ω 22 ω 23 τ y ω 31 ω 32 ω 33 τ z ] [ u v 0 1 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 τ x ω 21 ω 22 τ y ω 31 ω 32 τ z ] [ u v 1 ] (15) \lambda \left[

$$\begin{matrix} x\\y\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\omega_{13}&\tau_x\\\omega_{21}&\omega_{22}&\omega_{23}&\tau_y\\\omega_{31}&\omega_{32}&\omega_{33}&\tau_z \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\0\\1 \end{matrix}$$ \right]\\ =\left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\\omega_{31}&\omega_{32}&\tau_z \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\tag{15} λ⎣⎡​xy1​⎦⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​ω31​​ω12​ω22​ω32​​ω13​ω23​ω33​​τx​τy​τz​​⎦⎤​⎣⎢⎢⎡​uv01​⎦⎥⎥⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​ω31​​ω12​ω22​ω32​​τx​τy​τz​​⎦⎤​⎣⎡​uv1​⎦⎤​(15)
  将两个$3\times 3$的矩阵相乘可得：
$$\lambda \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\varphi }_{11}& {\varphi }_{12}& {\varphi }_{13}\\ {\varphi }_{21}& {\varphi }_{22}& {\varphi }_{23}\\ {\varphi }_{31}& {\varphi }_{32}& {\varphi }_{33}\end{array}\right]\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\text{\hspace{1em}(16)}$$
  上式便是透视变换(projective transformation)，还被称为单应变换(homography). 在笛卡尔坐标系下表示为：
$$\begin{gathered} x=\frac{{\varphi }_{11}u+{\varphi }_{12}v+{\varphi }_{13}}{{\varphi }_{31}u+{\varphi }_{32}v+{\varphi }_{33}} \\ y=\frac{{\varphi }_{21}u+{\varphi }_{22}v+{\varphi }_{23}}{{\varphi }_{31}u+{\varphi }_{32}v+{\varphi }_{33}}\text{\hspace{1em}(17)} \end{gathered}$$
  或者简记为：
$$x=hom[w,\Phi ]\text{\hspace{1em}(18)}$$
  注意，透视变换可以将平面上一个四边形变化为任意形状的四边形。而且虽然矩阵$\Phi$中有9个未知参数，实际上它只有8个自由度。

2 转换模型参数的学习

  实际应用中，场景平面成像过程中容易受到各种噪声的影响，因此成像点坐标带有不确定性，因此我们考虑用概率模型进一步描述。对于透视投影(Homography)，概率模型为：
$$Pr(x|w)=Nor{m}_x[hom[w,\Phi ],{\delta }^{2}I]\text{\hspace{1em}(19)}$$

2.1 问题描述

  已知场景中2D平面上$I$个不同的2D坐标点$w_i=[u_i,v_i{]}^T$以及与之对应的图像平面2D投影点$x_i=[x_i,y_i{]}^T$，对于给定的转换模型$trans[w_i,\theta ]$，求解模型的参数$\theta$。应用极大似然法可得：
$$\begin{gathered} \hat{\theta }=\underset{\theta }{\mathrm{argmax}}[\prod _{i=1}^{I}Nor{m}_x[trans[w,\theta ],{\delta }^{2}I]] \\ =\underset{\theta }{\mathrm{argmax}}[\sum _{i=1}^I\log [Nor{m}_x[trans[w,\theta ],{\delta }^{2}I]]] \\ =\underset{\theta }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-trans[w_i,\theta ]{)}^T(x_i-trans[w_i,\theta ])]\text{\hspace{1em}(20)} \end{gathered}$$

2.2 学习Euclidean参数

  Enclidean transformation的参数包括一个$2\times 2$的旋转矩阵$\Omega$和一个$2\times 1$的位移向量$\tau =[{\tau }_x,{\tau }_y{]}^T$。所以问题变为：
$$\begin{gathered} \hat{\Omega },\hat{\tau }=\underset{\Omega ,\tau }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-euc[w_i,\Omega ,\tau ]{)}^T(x_i-euc[w_i,\Omega ,\tau ])] \\ =\underset{\Omega ,\tau }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-\Omega w_i-\tau {)}^T(x_i-\Omega w_i-\tau )]\text{\hspace{1em}(21)} \end{gathered}$$
  将目标函数对$\tau$求导并等于零可以求解得到：
$$\hat{\tau }=\frac{{\sum }_{i=1}^I{x}_i-\Omega w_i}{I}={\mu }_x-\Omega {\mu }_w\text{\hspace{1em}(22)}$$
  代入式(21)可得：
$$\hat{\Omega }=\underset{\Omega }{\mathrm{argmin}}[\sum _{i=1}^I((x_i-{\mu }_x)-\Omega (w_i-{\mu }_w){)}^T((x_i-{\mu }_x)-\Omega (w_i-{\mu }_w))]\text{\hspace{1em}(23)}$$
  定义矩阵$B=[x_1-{\mu }_x,x_2-{\mu }_x,\cdots ,x_I-{\mu }_x]$和矩阵$A=[w_1-{\mu }_w,w_2-{\mu }_w,\cdots ,w_I-{\mu }_w]$，此时问题转化为如下的Orthogonal Procrustes Problem：
$$\hat{\Omega }=\underset{\Omega }{\mathrm{argmin}}[|\Omega A-B{|}_F]\text{\hspace{1em}(24)}$$
  问题的解为：
$$\begin{gathered} B{A}^T=UL{V}^T \\ \hat{\Omega }=U{V}^T\text{\hspace{1em}(25)} \end{gathered}$$

2.3 学习Similarity参数

  Similarity transformation的参数包括一个$2\times 2$的旋转矩阵$\Omega$、一个$2\times 1$的位移向量$\tau =[{\tau }_x,{\tau }_y{]}^T$和一个标量$\rho$。所以问题变为：
$$\begin{gathered} \hat{\Omega },\hat{\tau },\hat{\rho }=\underset{\Omega ,\tau ,\rho }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-sim[w_i,\Omega ,\tau ,\rho ]{)}^T(x_i-sim[w_i,\Omega ,\tau ,\rho ])] \\ =\underset{\Omega ,\tau }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-\rho \Omega w_i-\tau {)}^T(x_i-\rho \Omega w_i-\tau )]\text{\hspace{1em}(26)} \end{gathered}$$
  和2.2一样可以求解得到$\hat{\Omega }$;
  代入可得$\hat{\rho }$和$\hat{\tau }$为：
$$\begin{gathered} \hat{\rho }=\frac{{\sum }_{i=1}^I(x_i-{\mu }_x{)}^T\hat{\Omega }(w_i-{\mu }_w)}{{\sum }_{i=1}^I(w_i-{\mu }_w{)}^T(w_i-{\mu }_w)} \\ \hat{\tau }=\frac{{\sum }_{i=1}^I(x_i-\hat{\rho }\hat{\Omega }{w}_i)}{I}={\mu }_x-\Omega {\mu }_w\text{\hspace{1em}(27)} \end{gathered}$$

2.4 学习Affine参数

  Affine transformation的参数包括一个$2\times 2$的旋转矩阵$\Omega$、一个$2\times 1$的位移向量$\tau =[{\tau }_x,{\tau }_y{]}^T$。所以问题变为：
$$\begin{gathered} \hat{\Phi },\hat{\tau }=\underset{\Phi ,\tau }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-aff[w_i,\Phi ,\tau ]{)}^T(x_i-aff[w_i,\Phi ,\tau ])] \\ =\underset{\Omega ,\tau }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-\Phi w_i-\tau {)}^T(x_i-\Phi w_i-\tau )]\text{\hspace{1em}(28)} \end{gathered}$$
  我们对$\Phi w_i+\tau$做如下处理：
Φ w i + τ = [ u i v i 1 0 0 0 0 0 0 u i v i 1 ] [ ϕ 11 ϕ 12 τ x ϕ 21 ϕ 22 τ y ] = A i b (29) \Phi w_i+\tau= \left[

$$\begin{matrix} u_i&v_i&1&0&0&0\\ 0&0&0&u_i&v_i&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \phi_{11}\\\phi_{12}\\\tau_x\\\phi_{21}\\\phi_{22}\\\tau_y \end{matrix}$$ \right]=A_ib\tag{29} Φwi​+τ=[ui​0​vi​0​10​0ui​​0vi​​01​]⎣⎢⎢⎢⎢⎢⎢⎡​ϕ11​ϕ12​τx​ϕ21​ϕ22​τy​​⎦⎥⎥⎥⎥⎥⎥⎤​=Ai​b(29)
  这样，式(28)变为：
$$\hat{b}=\underset{b}{\mathrm{argmin}}[\sum _{i=1}^I(x_i-A_{i}b{)}^T(x_i-A_{i}b)]\text{\hspace{1em}(30)}$$
  这样便可以按照Least squares problem求解。

2.5 学习Projective参数

  Projective transformation的参数包括一个$3\times 3$的矩阵$\Phi$，因此问题变为：
$$\begin{gathered} \hat{\Phi }=\underset{\Phi }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-hom[w_i,\Phi ]{)}^T(x_i-hom[w_i,\Phi ])] \\ =\underset{\Phi }{\mathrm{argmin}}[\sum _{i=1}^I(x_i-\frac{{\varphi }_{11}{u}_i+{\varphi }_{12}{v}_i+{\varphi }_{13}}{{\varphi }_{31}{u}_i+{\varphi }_{32}{v}_i+{\varphi }_{33}}{)}^2+(y_i-\frac{{\varphi }_{21}{u}_i+{\varphi }_{22}{v}_i+{\varphi }_{23}}{{\varphi }_{31}{u}_i+{\varphi }_{32}{v}_i+{\varphi }_{33}}{)}^2]\text{\hspace{1em}(31)} \end{gathered}$$
  这个问题没有封闭解，只能应用基于梯度的非线性优化求解方法。像之前一样，我们可以求得一个合适的初始解。在齐次坐标表示下：
λ [ x i y i 1 ] = [ ϕ 11 ϕ 12 ϕ 13 ϕ 21 ϕ 22 ϕ 23 ϕ 31 ϕ 32 ϕ 33 ] [ u i v i 1 ] (32) \lambda \left[

$$\begin{matrix} x_i\\y_i\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \phi_{11}&\phi_{12}&\phi_{13}\\\phi_{21}&\phi_{22}&\phi_{23}\\\phi_{31}&\phi_{32}&\phi_{33} \end{matrix}$$ \right]\left[ $$\begin{matrix} u_i\\v_i\\1 \end{matrix}$$ \right]\tag{32} λ⎣⎡​xi​yi​1​⎦⎤​=⎣⎡​ϕ11​ϕ21​ϕ31​​ϕ12​ϕ22​ϕ32​​ϕ13​ϕ23​ϕ33​​⎦⎤​⎣⎡​ui​vi​1​⎦⎤​(32)
  每个齐次坐标表示一条通过光心的直线，因此上式表明等号左边的向量与等号右边的向量相等，也即同方向，因此有：
$$\tilde{x}\times \Phi \tilde{w}=0\text{\hspace{1em}(33)}$$
  展开后可以得到：
$$\left[\begin{array}{c}y({\varphi }_{31}u+{\varphi }_{32}v+{\varphi }_{33})-({\varphi }_{21}u+{\varphi }_{22}v+{\varphi }_{23})\\ ({\varphi }_{11}u+{\varphi }_{12}v+{\varphi }_{13})-x({\varphi }_{31}u+{\varphi }_{32}v+{\varphi }_{33})\\ x({\varphi }_{21}u+{\varphi }_{22}v+{\varphi }_{23})-y({\varphi }_{11}u+{\varphi }_{12}v+{\varphi }_{13})\end{array}\right]=0$$
  将$I$个点对应的等式全部整合为下式：
$$\left[\begin{array}{ccccccccc}0& 0& 0& -u_1& -v_1& -1& u_1{y}_1& v_1{y}_1& y_1\\ u_1& v_1& 1& 0& 0& 0& -u_1{x}_1& -v_1{x}_1& -x_1\\ 0& 0& 0& -u_2& -v_2& -1& u_2{y}_2& v_2{y}_2& y_2\\ u_2& v_2& 1& 0& 0& 0& -u_2{x}_2& -v_2{x}_2& -x_2\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 0& 0& 0& -u_I& -v_I& -1& u_I{y}_I& v_I{y}_I& y_I\\ u_I& v_I& 1& 0& 0& 0& -u_I{x}_I& -v_I{x}_I& -x_I\end{array}\right]\left[\begin{array}{c}{\varphi }_{11}\\ {\varphi }_{12}\\ {\varphi }_{13}\\ {\varphi }_{21}\\ {\varphi }_{22}\\ {\varphi }_{23}\\ {\varphi }_{31}\\ {\varphi }_{32}\\ {\varphi }_{33}\end{array}\right]=0\text{\hspace{1em}(34)}$$
  此时，问题就变为形如$Ab=0$的minimum direction problem (请阅读参考资料)，即求解奇异值分解$A=UL{V}^T$并且设$\hat{b}$为$V$的最后一列。

3 利用转换模型进行推理

  已知一个转换模型$trans[w,\theta ]$和像平面上的一个点$x=[x,y{]}^T$，求解场景中平面上的对应点：
$$\begin{gathered} \hat{w}=\underset{w}{\mathrm{argmax}}[\sum _{i=1}^I\log [Nor{m}_x[trans[w,\theta ],{\delta }^{2}I]]] \\ =\underset{w}{\mathrm{argmin}}[\sum _{i=1}^I(x-trans[w,\theta ]{)}^T(x-trans[w,\theta ])]\text{\hspace{1em}(35)} \end{gathered}$$
$$x=trans[w,\theta ]\text{\hspace{1em}(36)}$$
λ [ x y 1 ] = [ ϕ 11 ϕ 12 ϕ 13 ϕ 21 ϕ 22 ϕ 23 ϕ 31 ϕ 32 ϕ 33 ] [ u v 1 ] (37) \lambda \left[

$$\begin{matrix} x\\y\\1 \end{matrix}$$ \right]= \left[ $$\begin{matrix} \phi_{11}&\phi_{12}&\phi_{13}\\\phi_{21}&\phi_{22}&\phi_{23}\\\phi_{31}&\phi_{32}&\phi_{33} \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]\tag{37} λ⎣⎡​xy1​⎦⎤​=⎣⎡​ϕ11​ϕ21​ϕ31​​ϕ12​ϕ22​ϕ32​​ϕ13​ϕ23​ϕ33​​⎦⎤​⎣⎡​uv1​⎦⎤​(37)
$${\lambda }^{\prime }\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]={\left[\begin{array}{ccc}{\varphi }_{11}& {\varphi }_{12}& {\varphi }_{13}\\ {\varphi }_{21}& {\varphi }_{22}& {\varphi }_{23}\\ {\varphi }_{31}& {\varphi }_{32}& {\varphi }_{33}\end{array}\right]}^{-1}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(38)}$$

4 学习外部参数

  已知场景中平面上$I$个不同的3D坐标点 { w i } i = 1 I \{w_i\}_{i=1}^I {wi​}i=1I​(假设$w_i=0$)，与之对应的图像平面2D投影点 { x i } i = 1 I \{x_i\}_{i=1}^I {xi​}i=1I​和内部参数$\Lambda$，求解外部参数 { Ω , τ } \{\Omega,\tau\} {Ω,τ}：
$$\begin{gathered} \hat{\Omega },\hat{\tau }=\underset{\Omega ,\tau }{\mathrm{argmax}}[\sum _{i=1}^I\log [Pr(x_i|w_i,\Lambda ,\Omega ,\tau )]] \\ =\underset{\Omega ,\tau }{\mathrm{argmax}}[\sum _{i=1}^I\log [Nor{m}_{x_i}[pinhole[w_i,\Lambda ,\Omega ,\tau ],{\sigma }^{2}I]]]\text{\hspace{1em}(39)} \end{gathered}$$
  和之前的情况一样，这个问题仍然没有解析解，但可以在齐次坐标的表示下求得一个合适的初始解：
λ [ x y 1 ] = λ ′ [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 τ x ω 21 ω 22 τ y ω 31 ω 32 τ z ] [ u v 1 ] = [ ϕ 11 ϕ 12 ϕ 13 ϕ 21 ϕ 22 ϕ 23 ϕ 31 ϕ 32 ϕ 33 ] [ u v 1 ] (40) \lambda \left[

$$\begin{matrix} x\\y\\1 \end{matrix}$$ \right]=\lambda' \left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\\omega_{31}&\omega_{32}&\tau_z \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right]=\left[ $$\begin{matrix} \phi_{11}&\phi_{12}&\phi_{13}\\\phi_{21}&\phi_{22}&\phi_{23}\\\phi_{31}&\phi_{32}&\phi_{33} \end{matrix}$$ \right]\left[ $$\begin{matrix} u\\v\\1 \end{matrix}$$ \right] \tag{40} λ⎣⎡​xy1​⎦⎤​=λ′⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​ω31​​ω12​ω22​ω32​​τx​τy​τz​​⎦⎤​⎣⎡​uv1​⎦⎤​=⎣⎡​ϕ11​ϕ21​ϕ31​​ϕ12​ϕ22​ϕ32​​ϕ13​ϕ23​ϕ33​​⎦⎤​⎣⎡​uv1​⎦⎤​(40)
  在2.5节中我们已经学习了如何求解homography $\Phi$，所以接下来我们只需要根据式(40)拆分矩阵$\Phi$来获得旋转矩阵$\Omega$和位移矩阵$\tau$。具体为首先式(40)后两项左乘${\Lambda }^{-1}$以消除内部参数的影响，可得：
$${\Phi }^{\prime }={\Lambda }^{-1}\Phi ={\lambda }^{\prime }\left[\begin{array}{ccc}{\omega }_{11}& {\omega }_{12}& {\tau }_x\\ {\omega }_{21}& {\omega }_{22}& {\tau }_y\\ {\omega }_{31}& {\omega }_{32}& {\tau }_z\end{array}\right]=\left[\begin{array}{ccc}{\varphi }_{11}^{\prime }& {\varphi }_{12^{\prime }}& {\varphi }_{13}^{\prime }\\ {\varphi }_{21}^{\prime }& {\varphi }_{22}^{\prime }& {\varphi }_{23}^{\prime }\\ {\varphi }_{31}^{\prime }& {\varphi }_{32}^{\prime }& {\varphi }_{33}^{\prime }\end{array}\right]\text{\hspace{1em}(41)}$$
  接下来估计旋转矩阵$\Omega$中的前两列(这里的求解方法和Orthogonal Procrustes Problem类似)：
$$\begin{gathered} \left[\begin{array}{cc}{\varphi }_{11}^{\prime }& {\varphi }_{12^{\prime }}\\ {\varphi }_{21}^{\prime }& {\varphi }_{22}^{\prime }\\ {\varphi }_{31}^{\prime }& {\varphi }_{32}^{\prime }\end{array}\right]=UL{V}^T \\ \left[\begin{array}{cc}{\omega }_{11}& {\omega }_{12}\\ {\omega }_{21}& {\omega }_{22}\\ {\omega }_{31}& {\omega }_{32}\end{array}\right]=U\left[\begin{array}{cc}1& 0\\ 0& 1\\ 0& 0\end{array}\right]V^T\text{\hspace{1em}(42)} \end{gathered}$$
  为了求出旋转矩阵最后一列，我们只需要求前两列的叉积(旋转矩阵是正交矩阵)，并保证最终的旋转矩阵行列式等于1.式(41)中的标量${\lambda }^{\prime }$可以按下式求解：
$${\lambda }^{\prime }=\frac{{\sum }_{m=1}^3{\sum }_{n=1}^2{\varphi }_{mn}^{\prime }/w_{mn}}{6}\text{\hspace{1em}(43)}$$
  最后，位移矩阵为：
$$\tau =[{\varphi }_{13}^{\prime },{\varphi }_{23}^{\prime },{\varphi }_{33}^{\prime }{]}^T/{\lambda }^{\prime }\text{\hspace{1em}(44)}$$

5 学习内部参数

  如果希望利用场景中一个平面上的点去标定相机，需要相机在多个位姿下对平面成像。基于此，此处的相机标定问题的描述为：已知场景中某个平面上$I$个不同的3D坐标点 { w i } i = 1 I \{w_i\}_{i=1}^I {wi​}i=1I​和与之对应的$J$个不同位姿下的图像平面2D投影点 { x i } i = 1 , j = 1 I , J \{x_i\}_{i=1,j=1}^{I,J} {xi​}i=1,j=1I,J​，利用最大似然方法求解内部参数 { Ω , τ } \{\Omega,\tau\} {Ω,τ}：
$$\hat{\Lambda }=\underset{\Lambda }{\mathrm{argmax}}\left[\underset{{\Omega }_{1...J},{\tau }_{1...J}}{\max }\right[\sum _{i=1}^I\sum _{j=1}^J\log [Pr(x_{ij}|w_i,\Lambda ,{\Omega }_j,{\tau }_j)]]]\text{\hspace{1em}(45)}$$
  和之前一样，这里介绍的方法采用了Coordinate ascent method，即迭代执行下面两步：

• 求解相机$J$个位姿下的外部参数：
  $${\hat{\Omega }}_j,{\hat{\tau }}_j=\underset{{\Omega }_j,{\tau }_j}{\mathrm{argmax}}[\sum _{i=1}^I\log [Pr(x_{ij}|w_i,\Lambda ,{\Omega }_j,{\tau }_j)]]\text{\hspace{1em}(46)}$$
• 求解当前迭代步中的内部参数：
  $$\hat{\Lambda }=\underset{\Lambda }{\mathrm{argmax}}[\sum _{i=1}^I\sum _{j=1}^J\log [Pr(x_{ij}|w_i,\Lambda ,{\Omega }_j,{\tau }_j)]]\text{\hspace{1em}(47)}$$
    类似的，该方法的效率也很低，实际应用中还有更好的方法。

6 推理3D坐标点

  已知一个(注意：由于此处一一对应的关系，只需要一个相机便能推理)标定好并且已知位姿的相机(也即已知$\Lambda ,\Omega ,\tau$)和场景中某个平面上一个未知3D坐标点$w=[u,v,0{]}^T$在相机上的2D投影点坐标$x$，求该3D坐标点的位置：
T = [ ϕ 11 ϕ 12 ϕ 13 ϕ 21 ϕ 22 ϕ 23 ϕ 31 ϕ 32 ϕ 33 ] = [ ϕ x γ δ x 0 ϕ y δ y 0 0 1 ] [ ω 11 ω 12 τ x ω 21 ω 22 τ y ω 31 ω 32 τ z ] (48) T=\left[

$$\begin{matrix} \phi_{11}&\phi_{12}&\phi_{13}\\\phi_{21}&\phi_{22}&\phi_{23}\\\phi_{31}&\phi_{32}&\phi_{33} \end{matrix}$$ \right]=\left[ $$\begin{matrix} \phi_x&\gamma&\delta_x\\0&\phi_y&\delta_y\\0&0&1 \end{matrix}$$ \right] \left[ $$\begin{matrix} \omega_{11}&\omega_{12}&\tau_x\\\omega_{21}&\omega_{22}&\tau_y\\\omega_{31}&\omega_{32}&\tau_z \end{matrix}$$ \right]\tag{48} T=⎣⎡​ϕ11​ϕ21​ϕ31​​ϕ12​ϕ22​ϕ32​​ϕ13​ϕ23​ϕ33​​⎦⎤​=⎣⎡​ϕx​00​γϕy​0​δx​δy​1​⎦⎤​⎣⎡​ω11​ω21​ω31​​ω12​ω22​ω32​​τx​τy​τz​​⎦⎤​(48)
  在世界坐标系下为：
$$\tilde{w}=T^{-1}\tilde{x}\text{\hspace{1em}(49)}$$
  转换到相机坐标系下为：
$$w^{\prime }=\Omega w+\tau \text{\hspace{1em}(50)}$$