1.2.1 相机模型—内参、外参_相机内参

相机模型-内参、外参

更多内容，请关注：
github：https://github.com/gotonote/Autopilot-Notes.git）

针孔相机模型，包含四个坐标系：物理成像坐标系、像素坐标系、相机坐标系、世界坐标系。

相机参数包含：内参、外参、畸变参数

一、 内参（Intrinsics）

物理成像坐标系： $O^{\prime }-x^{\prime }-y^{\prime }$

像素坐标系： $O-u-v$

相机坐标系： $O-x-y$

世界坐标系： $O-X-Y-Z$

在世界坐标系下的点 $P[X,Y,Z{]}^T$ ，通过相机坐标系下的光心 $O$ 投影到物理成像平面上的 $P^{\prime }[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$ ，对应到像素坐标系下的 $[u,v{]}^T$ 。

由相似三角形可以得到：

$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$

带负号是因为小孔成像成的是倒像。为了简化模型，可以把物理成像平面看作为放到了相机的前方，这样可以直观的认为成立的正像（虚像），如下图2：

可以得到：

Z f = X X ′ = Y Y ′

$$\begin{align} \frac Z f = \frac X {X'}=\frac Y {Y'} \end{align}$$ fZ​=X′X​=Y′Y​​​

X ′ = f X Z

$$\begin{align} X'=f\frac X Z \end{align}$$ X′=fZX​​​

Y ′ = f Y Z

$$\begin{align} Y'=f\frac Y Z \end{align}$$ Y′=fZY​​​

从物理成像坐标系到像素坐标系之前，相差了一个缩放和平移。缩放是因为两个坐标系之前的表示的单位长度不一致，平移是因为两个坐标系的原点不一致。

假设，像素坐标在 $u$ 方向上缩放了 $\alpha$ 倍，在 $v$ 方向上缩放了 $\beta$ 倍，同时，原点平移了 $[c_x,c_y{]}^T$ 。那么点 $P^{\prime }[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$ 与像素坐标系下 $[u,v{]}^T$ 的关系为：

{ u = α X ′ + c x v = β Y ′ + c y

$$\begin{cases} u=\alpha X'+c_x \\ v=\beta Y'+c_y \end{cases}$$ {u=αX′+cx​v=βY′+cy​​

$$f_x=\alpha f$$

$$f_y=\beta f$$

{ u = f x X Z + c x v = f y Y Z + c y

$$\begin{cases} u=f_x \frac XZ + c_x \\ v=f_y \frac YZ + c_y \end{cases}$$ {u=fx​ZX​+cx​v=fy​ZY​+cy​​

其中，变量的单位是 $f\to mm;\alpha ,\beta \to 像素/mm;f_x,f_y\to 像素$。将坐标进行归一化，写成矩阵形式，并对左侧像素坐标进行齐次化，方便后面的运算：

[ u v 1 ] = 1 Z [ f x 0 c x 0 f y c y 0 0 1 ] P = △ 1 Z K P

$$\begin{bmatrix} u \\ v \\ 1 \\ \end{bmatrix}$$ = \frac 1Z $$\begin{bmatrix} f_x &0 &c_x \\ 0 &f_y &c_y\\ 0 &0 &1 \\ \end{bmatrix}$$ \boldsymbol{P} \overset{\triangle}{=} \frac1Z \boldsymbol{KP} ​uv1​ ​=Z1​ ​fx​00​0fy​0​cx​cy​1​ ​P=△Z1​KP

Z [ u v 1 ] = [ f x 0 c x 0 f y c y 0 0 1 ] P = △ K P {Z}

$$\begin{bmatrix} u \\ v \\ 1 \\ \end{bmatrix}$$ = $$\begin{bmatrix} f_x &0 &c_x \\ 0 &f_y &c_y \\ 0 &0 &1 \\ \end{bmatrix}$$ \boldsymbol{P} \overset{\triangle}{=} \boldsymbol{KP} Z ​uv1​ ​= ​fx​00​0fy​0​cx​cy​1​ ​P=△KP

把中间的量组成的矩阵称为相机的内参矩阵（Camera Intrinsics） $\mathbf{K}$ 。

（一） 内参矩阵参数获取

图像大小 $[w,h]$ ，单位 $pixel$ ；相机焦距 $f$ ，单位 $mm$ ；视场角 $FOV-\alpha$ ，单位弧度；像素单元长度 $\mathrm{d}x,\mathrm{d}y$ ，单位 $mm/pixel$ ；内参 $f_x,f_x $，单位 $pixel$ ：

$${\mathbf{f}}_{\mathbf{x}}=\frac{\mathbf{f}}{\mathrm{d}\mathbf{x}}$$

$${\mathbf{f}}_{\mathbf{y}}=\frac{\mathbf{f}}{\mathrm{d}\mathbf{y}}$$

$${\mathbf{c}}_{\mathbf{x}}=\frac{\mathbf{w}}{2}(假设相机主点在图像中央)$$

$${\mathbf{c}}_{\mathbf{y}}=\frac{\mathbf{h}}{2}(假设相机主点在图像中央)$$

​ ${\mathbf{f}}_{\mathbf{x}}$就相当于用 $x$ 方向的像素数去量化物理焦距 $f$ ；

​ ${\mathbf{f}}_{\mathbf{y}}$就相当于用 $y$ 方向的像素数去量化物理焦距 $f$ ；

1. 已知相机的硬件参数求内参

相机的内参出厂后就是固定不变的，如果知晓相机的出厂参数，可以计算相机的内参。

如成像传感器是 $m\times n(\mu m)$ ，图像尺寸是 $w\times h(pixel)$ ，那么图像像素单元就是

$$\mathrm{d}x=\frac{m}{w}(\mu m/pixel)$$

$$\mathrm{d}y=\frac{n}{h}(\mu m/pixel)$$

$$\begin{gathered} c_x=\frac{w}{2} \\ {c}_y=\frac{h}{2} \end{gathered}$$

如果 $\mathrm{d}x=\mathrm{d}y$ ，则图像像素单元是一个正方形，此时 ${\mathbf{f}}_{\mathbf{x}}={\mathbf{f}}_{\mathbf{y}}$ ；

如果 $\mathrm{d}x\ne \mathrm{d}y$ ，则图像像素单元是一个矩形，此时 ${\mathbf{f}}_{\mathbf{x}}\ne {\mathbf{f}}_{\mathbf{y}}$ 。

如成像传感器是 $2000\times 1000(\mu m)$ ，图像尺寸是 $1000\times 500(pixel)$ ，那么图像像素单元就是 $\mathrm{d}x=\mathrm{d}y=2(\mu m/pixel)$ ， $c_x=500,c_y=250(pixel)$ 。

2. 求视场角 FOV

这里只是求水平方向上的 FOV，垂直方向上的 FOV 求法和水平是一致的。

（参考图3）其中，成像传感器是 $m\times n(\mu m)$ ，图像尺寸是 $w\times h(pixel)$ ，像素单元 $x$ 轴方向长度 $\mathrm{d}x=\frac{m}{w}(\mu m/pixel)$ ，可以看到：

tan ⁡ ( α 2 ⋅ π 180 ) = m / 2 f

$$\begin{align} \tan({\frac {\alpha}2} \cdot \frac {\pi}{180} ) = \frac {m/2}{f} \end{align}$$ tan(2α​⋅180π​)=fm/2​​​

F O V = α = 2 arctan ⁡ ( m / 2 f ) ⋅ 180 π

$$\begin{align} FOV=\alpha = 2\arctan(\frac {m/2}{f}) \cdot \frac {180}{\pi} \end{align}$$ FOV=α=2arctan(fm/2​)⋅π180​​​

$$m=w\cdot \mathrm{d}x$$

$$FOV=\alpha =2\arctan (\frac{w\cdot \mathrm{d}x/2}{f})\cdot \frac{180}{\pi }$$

$$f_x=\frac{f}{\mathrm{d}x}$$

F O V = α = 2 arctan ⁡ ( w 2 f x ) ⋅ 180 π

$$\begin{align} FOV=\alpha =2\arctan(\frac {w}{2f_x}) \cdot \frac {180}{\pi} \end{align}$$ FOV=α=2arctan(2fx​w​)⋅π180​​​

如果已知相机传感器尺寸，通过公式 (5) 可以计算出相机的视场角 $FOV$ ；

如果已知相机内参，通过公式 (6) 可以计算出相机的视场角 $FOV$ 。

3. 通过 FOV 计算内参

由公式 (6)，可得：

$$\frac{w}{2f_x}=\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})$$

$$f_x=\frac{w}{2\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})}$$

$$f_y=\frac{h}{2\tan (\frac{FOV}{2}\cdot \frac{\pi }{180})}$$

如果 $\mathrm{d}x=\mathrm{d}y$ ，则图像像素单元是一个正方形，此时 ${\mathbf{f}}_{\mathbf{x}}={\mathbf{f}}_{\mathbf{y}}$ ； ${\mathbf{c}}_{\mathbf{x}}=\frac{\mathbf{w}}{2}$ ； ${\mathbf{c}}_{\mathbf{y}}=\frac{\mathbf{h}}{2}$ 。

二、 外参 (Extrinsics)

相机外参的逆矩阵被称为camera-to-world (c2w)矩阵，其作用是把相机坐标系的点变换到世界坐标系。因为NeRF主要使用c2w，这里详细介绍一下c2w的含义。c2w矩阵是一个4x4的矩阵，左上角3x3是旋转矩阵R，右上角的3x1向量是平移向量T。有时写的时候可以忽略最后一行 [0,0,0,1] 。c2w矩阵的值直接描述了相机坐标系的朝向和原点：

$$
\left[
\begin{matrix}
R & T \
0 & 1 \
\end{matrix}
\right]

\left[

$$\begin{matrix} r_{11} & r_{12} & r_{13} & t_1 \ r_{21} & r_{22} & r_{23} & t_2 \ r_{31} & r_{32} & r_{33} & t_3 \ 0 & 0 & 0 & 1 \ \end{matrix}$$
\right]
$$

$$
\left[
\begin{matrix}
R & T \
\end{matrix}
\right]

\left[

$$\begin{matrix} r_{11} & r_{12} & r_{13} & t_1 \ r_{21} & r_{22} & r_{23} & t_2 \ r_{31} & r_{32} & r_{33} & t_3 \ \end{matrix}$$
\right]
$$

具体的，旋转矩阵的第一列到第三列分别表示了相机坐标系的 X, Y, Z 轴在世界坐标系下对应的方向；平移向量表示的是相机原点在世界坐标系的对应位置。

相机内参描述的是在相机坐标系下的点到像素坐标系下的对应关系，上文内提到的 $\mathbf{P}$ 也是在相机坐标系下的点。相机在三维空间中运动，记点 $\mathbf{P}$ 在世界坐标系下的点为 ${\mathbf{P}}_w$ ，在相机坐标系下的坐标为 ${\mathbf{P}}_c$ 。

相机在世界坐标系下的位姿，由相机的旋转矩阵 $\mathbf{R}$ 和平移向量 $\mathbf{t}$ 来描述。此时有( 以下用${\mathbf{T}}_{3\times 4}$ 代表 $[RT]$ )：

$$Z\cdot {\mathbf{P}}_{\mathbf{uv}}{|}_{3\times 1}$$

= Z ⋅ [ u v 1 ] {= Z} \cdot \left[

$$\begin{matrix} u \\ v \\ 1 \\ \end{matrix}$$ \right] =Z⋅ ​uv1​ ​

$$=\mathbf{K}(\mathbf{R}{\mathbf{P}}_{\mathbf{w}}+\mathbf{t})$$

= K 3 × 3 ⋅ T 3 × 4 ⋅ P w   4 × 1

$$\begin{align} {=} \boldsymbol{K_{3\times3}} \cdot \boldsymbol{T_{3\times4}} \cdot \boldsymbol{ {P_w} \ _{4\times1}} \end{align}$$ =K3×3​⋅T3×4​⋅Pw​ 4×1​​​

两侧都是齐次坐标，同时因为齐次坐标乘上非零常数后表达同样的含义，所以可以简单地把Z去掉：

$${\mathbf{P}}_{\mathbf{uv}}=\mathbf{KT}{\mathbf{P}}_{\mathbf{w}}$$

但这样等号意义就变了，成为在齐次坐标下相等的概念，相差了一个非零常数。为了避免麻烦，我们还是从传统意义下来定义书写等号。

式 (7) 表明，我们可以把一个世界坐标点先转换到相机坐标系，再除掉它最后一维的数值（该点距离相机成像平面的深度），这就相当于把最后一维进行了 归一化处理 ，得到点 $P$ 在相机 归一化平面 上的投影：

$$\begin{gathered} (\mathbf{R}{\mathbf{P}}_{\mathbf{w}}+\mathbf{t})=[X,Y,Z{]}^T\to [X/Z,Y/Z,1{]}^T \\ (相机坐标\to 归一化坐标) \end{gathered}$$

归一化坐标 可以看成相机前方 $Z=1$ 处的平面上的一个点，这个 $Z=1$ 平面也称为 归一化平面 。归一化坐标左称内参 $\mathbf{K}$ 就得到了像素坐标，因此可以把像素坐标 $[u,v{]}^T$ 看成对归一化平面上的点进行量化测量的结果。

同时可以看到，如果对相机坐标同时乘上任意非零常数，归一化坐标都是一样的，也就是 点的深度信息在投影的过程中丢失了 ，所以在单目视觉中没法得到像素点的深度值。

通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的 $z_c$（深度值）的值。