一文吃透相机标定（Camera calibration）

写在开头：本人视觉小白，项目需要学习相机标定相关的知识，网上相关博客和教程很多但也很杂，所以还是想从自己的思路来整理一遍，以备后面回顾学习。

1.相机标定是什么？

说到相机标定，就要先说什么是传感器的标定。我们知道，任何传感器，它都是存在有误差的，那么狭义上说，标定就是去校正这部分误差，让传感器尽量准确一点。其次，当涉及到两个或者多个传感器的标定的时候，往往还包括计算出这些传感器间的相互位置关系。

概括一下，常说的标定包括两部分内容：传感器误差的校正、传感器相互之间的位置关系。（此处的内容更可能不太容易理解，没关系往下看），我们常说的单目标定就是第一种，常用的标定方法就是著名的张正友标定法。

2.为什么要进行相机标定？

相机标定的目的有两个：

• 第一，要还原摄像头成像的物体在真实世界的位置就需要知道世界中的物体到计算机图像平面是如何变换的，相机标定的目的之一就是为了搞清楚这种变换关系，求解内外参数。
• 第二，摄像机的透视投影有个很大的问题——畸变。摄像头标定的另一个目的就是求解畸变系数，然后用于图像矫正。

3.怎样进行相机标定？

  相机标定方法有：传统相机标定法、主动视觉相机标定方法、相机自标定法。（重点是第一种，后面两种了解即可）

传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点（世界坐标）与其图像点（像素坐标）之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

        目前出现的自标定算法中主要是利用相机运动的约束。相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。

       基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高，而且不适合于运动参数未知或无法控制的场合。

OK，我们大致知道了传统相机标定法的原理，那么接下来我们该思考，如何来建立标定板上的点和像素点之间的对应关系呢？也就是如何用一个简化的数学模型来代表复杂的三维到二维的成像过程？这就需要我们通过建立相机模型来进行分析，也就是标定过程中的最核心的部分。

4.相机模型

【此处参考原文链接：https://blog.csdn.net/Aoulun/article/details/104780993】

前面我们知道了标定的主要目的是为了建立摄像机图像像素位置与物体空间位置之间的关系，即世界坐标系与像素坐标系之间的关系。而这些关系里面主要有两种模型需要解算：小孔成像模型与畸变模型，其中前者是线性的，后者是非线性的。

4.1小孔成像模型

问：为什么小孔到像平面的距离是焦距，为什么要搞一个虚拟像平面？

第一篇博客中已经说过，像平面就是成像的位置，这个是用户自己设定的，就是CCD传感器的位置，而焦平面就是镜头的焦距所在平面。当像平面刚好和焦平面重合时，此时所成的像是最清晰的。也就是我们经常说的“刚好对焦上了”。我们用一个图来说明。
 

实际上，由于物理条件的限制，像平面和焦平面是不可能完全重合的。如果改变了镜头的形状和尺寸，那么焦平面的位置也会发生变化。对焦的时候就需要重新调整CCD的位置，使其与焦平面重合。这解释了为什么是焦距。

我们还是用上面的小孔成像简化图来说明。因为真正的像平面所成的像是倒立的，而我们实际中，更习惯于正立的看待问题，所以就用虚拟的像平面代替真正的像平面。如果不做特殊说明，我们在下面的描述中，就用像平面代替虚拟像平面。相应的，成像简化图就变为如下所示。

数学表示如下：

问题又来了，三维中的点是如何投影到像平面？如果我知道三维中的一个点，能计算到它投影到像平面的哪个像素吗？

为了解决这个问题，我们就必须定义坐标系。一个坐标系是不够的，需要多个坐标系同时使用。下面我们就来详细认识一下各个坐标系以及之间的转换关系。

4.1.1坐标系变换

首先可以看个总体图来初步认识各个坐标系之间的关系。

理解四个坐标系是进行相机标定的基础，它们是：

• 图像像素坐标系
• 图像物理坐标系
• 相机坐标系
• 世界坐标系

（1）图像像素坐标系、图像物理坐标系

• 图像像素坐标系：其原点O位于图像的左上角， 本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】