深度相机：结构光、TOF、双目相机_双目立体深度相机是rgb-d吗

随着人工智能与机器人、无人驾驶的火热，深度相机的技术和应用也受到关注，何谓深度相机？

顾名思义，就是可以测量物体到相机的距离(深度)

传统的RGB彩色普通相机称为2D相机，只能拍摄相机视角内的物体，没有物体到相机的距离信息，只能凭感觉感知物体的远近，没有明确的数据

RGB-D深度相机（又称3D相机，其中D代表Depth为深度信息）可获取物体到相机的距离信息，加之2D平面的X，Y坐标，可计算出每个点的三维坐标，以此我们可推断深度相机的应用，如三维重建、目标定位、识别

深度相机分类

目前主流的深度相机有结构光、时间飞行法、双目立体三种

a、结构光深度相机

基本原理：主要硬件有投射仪、相机，通过投射仪主动发射（因此称为主动测量）肉眼不可见IR红外光到被测物体表面，然后通过一个或多个相机拍摄被测物体采集结构光图像，将数据发送到计算单元，通过三角测量原理计算获取位置和深度信息，从而实现3D重建

结构光顾名思义就是将光结构化，有多种投影图案方式，如正弦条纹的相移法、二进制编码的格雷码、相移法+格雷码等

优点

技术成熟，功耗小，成本低

主动投影，适合弱光照使用

近距离(1米内)精度较高，毫米级

缺点

远距离精度差，随着距离的拉长，投影图案变大，精度也随之变差

室外强光照不宜使用，强光容易干扰投影光

代表产品

Kinect1.0，微软官方早已停产，目前市面上多为翻新机、山寨

PrimeSense，3D传感技术鼻祖，苹果13年收购，用于苹果的Face ID，AR应用，人像特效拍摄

RealSense，Intel出品，旗下有很多系列，协作机械臂、无人车上用的比较多

奥比中光，国内入局较早，多轮融资，后为魅族开发过TOF解决方案，不仅仅局限于结构光技术

Xtion PRO，芯片使用的是苹果收购的PrimeSense，行业老大

Zivid，支持ROS，挪威出品，据说20年研发

Pickit，支持ROS，试用多种机械臂ABB、UR、KUKA、Fanuc、Yaskawa等

Allied Vision，主要应用在工业

Photoneo，支持ROS，宣称使用坏境光抑制技术

b、时间飞行法(TOF)深度相机

基本原理：TOF就是时间飞行法，就是给目标发射连续的光脉冲，经过目标反射，通过传感器接受回来的光，记录飞行的时间，计算出到目标的距离，一般分脉冲调制和连续波调制两种

因其主动发射脉冲光，也属于主动测量方式

优点：

TOF的测量距离较远，不受表面灰度和特征影响，达百米，可用于无人驾驶

深度距离计算，不会随距离的变化而变化，稳定在厘米级

不像双目相机、结构光需要经过算法处理才能输出三维数据，TOF可以直接输出被测物体三维数据

相比于结构技术的静态场景，TOF更适合动态场景

缺点：

精度较差，很难达毫米级，因其对时间测量设备要求高，这点比不上结构光的近距离(1m内)应用，限制在近距离高精度领域的应用

室外强光照基本不能使用

代表产品

Kinect2.0，同Kinect1.0一样，微软官方已停产

Basler，RGB、深度图像、点云图

Terabee，支持ROS，也提供时间飞行传感模块

c、双目立体深度相机

基本原理：通过左右两个摄像头获取图像信息，计算视差

关于视差，类似人的双眼，你单独睁开左、右眼，与同时睁开双眼观看物体的位置、远近不同

双目相机不主动对外发射光源，因此称为被动深度相机，目前多应用在科研领域

优点

不需要结构光、TOF的发射器和接收器，因此硬件成本低

因为依靠自然光，可在室内外使用，但强光和暗光效果受影响

缺点

强光、暗光影响较大，因为依赖于自然光

对单一环境影响较大，如纯色墙，因双目相机依据视觉特征进行图像匹配，单一问题引起匹配失效

视觉匹配算法复杂

代表产品

ZED，广泛应用在科研机构的无人车、协作机械臂上

PointGrey Bumblebee，同ZED一样科研领域用在无人车、协作机械臂上较多，目前已到3代，2代已停产

小觅，据说公司经营不太好，售后找不到人

图漾，双目+结构光，宣称为了解决单一纹理环境，引入结构光，加入物理纹理

Viper，内置NVIDIA TX2，支持ROS

总结

测量原理

结构光、双目相机：基于特征匹配

TOF：基于飞行时间测

光源

结构光、TOF：红外光

双目相机：自然光

精度与距离

结构光：0.1-10m，短距离(1m)内精度较高，达厘米级

双目相机：0.3-25m，短距离范围内0.01mm-1cm

TOF：0.1-100m，一般稳定在厘米级

应用领域

结构光：智能手机前置摄影、人脸识别、AR/VR

双目相机：无人驾驶、手势识别、深度探测，目前科研领域用的较多

TOF：无人驾驶、智能手机后置摄影、AR/VR

下图为几种深度相机对比，仅供参考

图片来源网络，侵删