[SLAM] 传感器总结_红外单目slam

本文对SLAM中常见的传感器做出总结，以对SLAM输入端有一个比较全面的理解，分为相机类和非相机类
此处先给出需要的几个概念：
运动Motion：表示相机的位姿变换
结构Structure：场景中物体的远近和大小
尺度Scale：恢复的场景和真实场景相差的比例

1.相机类

相机按照最常用的可以分为单目相机、深度相机和双目相机；
除此之外还有全景相机和事件相机等，由于本人没深入了解过，后续再补充；

1.1 单目相机

特点：结构简单、成本低
数据：3D场景在相机平面的投影
原理：需要移动相机视角，本质上基于：
①图像中的物体移动会和相机视角移动方向相反，例如：相机朝左移动，画面中的静止物体会向右移动
②根据视差判断物体距离的远近（相对），例如：近处物体移动快，远处物体移动慢，即三角化
缺点：失去了3D场景的深度信息，因此恢复出的结构只有相对大小关系，与真实情况之间相差了一个尺度！

1.2 双目相机

双目相机采集同一时刻的两张照片帧数据，在恢复深度的时候由于采集信息的相机之间距离（基线Baseline）固定，即解决了尺度的问题，因为有一个确切的距离是真实尺度下的，将所有信息与该尺度对齐即可恢复真实尺度的结构。

特点：没有尺度问题；双目的探测距离与基线距离有关，基线距离越大探测深度越大，可以理解为：对于相同距离的点，基线距离越大对应的观测角越大，恢复的深度就越准确，因此自动驾驶场景下需要基线距离较大的双目相机；
数据：3D场景在左右目相机平面的投影
原理：根据左右目固定的视差，推断场景中物体的距离以获得深度；如下图所示，本质上是两个相似三角形的关系，$\Delta P{O}_R{O}_T\simeq \Delta Pp{p}^{\prime }$
缺点：双目相机需要准确标定，标定过程较为复杂+探测距离受到分辨率和基线距离的限制+视差计算比较耗时(计算是主要问题)

1.2 RGB-D相机

在单目相机的基础上增加了基于物理结构测量距离的模块，在输出RGB图片的同时可以得到每个像素对应的深度映射

特点：硬件层面直接输出深度，不需要像双目一样计算
数据：图片+深度图（由红外结构光产生的）
原理：利用红外结构光和time of light原理，通过发射出去和接收回来的光计算距离
缺点：测量范围小，误差大，受光线影响大，无法探测透射材质等，因此主要应用在室内

2. 非相机类

2.1 激光雷达

激光雷达成像可以简单理解为使用激光发射部件向一定视场角FOV（Field Of View）内发射光线，同时使用接收部件接收范围内反射回的光线，利用已知和获取的发射光线与反射光线的相关信息，直接计算或推导出反射点的信息（速度、距离、高度、反射强度等）

特点：具有很高的分辨率高+抗干扰能力强+获取的信息量丰富+可全天候工作
数据：xyz笛卡尔坐标系下的点云数据，对应激光雷达扫描一圈的场景数据，因此一帧点云上的点采集时刻是不一样的，与扫描的位置有关
原理：据测量原理可以分为三角法激光雷达、脉冲法激光雷达、相干法激光雷达。基于脉冲法的激光雷达利用光速测距。激光发射器发射激光脉冲，计时器记录发射时间；脉冲经物体反射后由接收器接受，计时器记录接受时间；时间差乘上光速即得到距离的两倍。

缺点：受天气和环境影响（烟雾、粉尘、雨雪、沙尘等）+ 价格昂贵

2.2 毫米波雷达

毫米波雷达，是工作在毫米波波段（millimeter wave ）探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的。毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的一些优点，其可以为相机提供尺度，为相机提供相对速度。下图为百度Apollo 2.0中所使用的毫米波雷达——Continental的ARS-408。

特点：可以提供其他传感器不具备的信息，虽然数据质量不高但是仍然具有较高的应用价值
数据：（距离+角度）极坐标系下的
原理：测距和测速原理都是基于多普勒效应

缺点：数据稳定性差+对金属敏感+高度信息缺失
一个毫米波采集数据的例子为：蓝色为静态，红色为动态；观察发现蓝色基本在一直线上（是道路两边的护栏），希望这个例子能够帮助理解毫米波的缺点

2.3 IMU

特点：
数据：
原理：
缺点：

2.4 GPS

特点：
数据：
原理：
缺点：

3. 各传感器总结

各传感器特点

自动驾驶场景下各传感器的一种分布情况