汽车环境感知技术详解【 持续更新ing 】— 多传感器数据融合原理与系统架构_网联协同感知系统的车辆状态多元素数据解析

专栏解读：

• 本专栏针对自动驾驶技术（智能网联汽车技术）中的感知技术进行详细介绍。

• 包含：

  • 汽车感知技术概念
  • 多传感器融合原理
  • 各传感器原理及应用（超声波，毫米波，激光雷达，视觉传感器，全球定位系统）

• 专栏知识框架如下图：
  

• ps：

  • 2023年，博主给自己定制了汽车领域感知，决策，控制算法的开发，通信，诊断相关的学习计划，且会每周持续分享。—— 感谢您的关注！
  • 如果在阅读，理解，提出建议和整改要求或一起学习进步赢高薪，可通过微信 Johnny-03-17一起学习探讨哦，欢迎您的加入~

一、多传感器融合概念

• ps：上一章咱们讲到传感器可以作为人类感知器官的衍生，比如手，口，鼻，眼，耳，

  • 想象一下：一道菜摆在你面前（眼睛看到了菜，且在你面前–距离，图像），闻起来很香（鼻子），尝了一口味道很赞，最终你给的评价：色香味俱全，好吃！我想要在吃一碗饭（大脑分析判断的决策），然后你又吃了一碗（执行）
    

• 定义

  • 从数学角度：不同传感器的测量值组成了一个测量子空间，信息融合就是各测量子空间按照一定法则向信息融合空间投影
  • 从工程角度：为了完成所需的决策和任务，对于来自不同源，不同模式，不同媒质，不同时间的信息按一定准则综合分析，得到被感知对象更精确的描述。

• 智能网联车需要融合传感器的原因？

  • 单一传感器获取的信息量非常有限
  • 同一类型的传感器自身品质，性能的影响
  • 提升可靠性
  • 实现1+1 > 2的效果

• 那我们总结一下：

  • 1、智能网联汽车先利用信号处理，人工智能，数理统计，控制原理以及仿生学等相关理论。
  • 2、把分布在不同位置，处于不同状态的多个传感器所提供的局部的，不完整的感测量进行综合。
  • 3、利用信息互补，降低不确定性，来形成对外接环境相对全面的描述，
  • 4、从而提高智能系统的决策，规划的科学性，突发情况反应的正确性和决策性。

• 亲~看图：
  

• 图示拆解

  • 多传感器 —— 信息融合的物质基础
  • 采集的信息 —— 信息融合的加工对象
  • 协调管理模块 —— 信息融合的关键，决定系统性能好坏的决定因素，是一个统筹模块
  • 融合处理 —— 信息融合的核心，主要以算法来实现

二、数据融合原理与定义

• 数据融合原理
  • N个不同类型的传感器收集观测目标的数据
  • 对传感器的输出数据进行特征提取的变换，提取代表观测数据的特征矢量Yi
  • 对特征矢量Yi进行模式识别处理，完成各传感器关于目标的说明
  • 将各传感器关于目标的说明数据按同一目标进行分组，即关联
  • 利用融合算法将每一目标各传感器数据进行合成，得到该目标的一致性解释与描述。
    
• 数据融合定义
  • 利用不同时间和空间的多传感器数据资源，采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行分析，综合，支配和使用，获得被测对象的一致性解释和描述，进而实现相应的决策和估计，使系统获得比它各组成部分更充分的信息。
  • 定义方法：分析，综合，支配，使用
  • 定义目的：一致性解释和描述，更为充分的信息。

三、数据融合系统架构

• 定义

  • 将各传感器探测到的目标原始数据，依据融合准则，进行自动化关联，相关估计组合。从而得出目标的状态和身份估计，并对环境态势和行动所面临"威胁"程度作出判断的智能化系统。

• 架构模型图示：

• 图示拆解

  • 融合区：
    • 数据准备区 —— 融合前的准备工作，数据预处理和零级联合检测
    • 目标融合区 —— 融合处理，1级目标状态估计和2级目标自身判断
    • 形势评估区 —— 形势评估，3级态势评估和4级威胁评估
  • 管理单元 ：
    • 管理单元 —— 对数据融合系统的效率进行估计和优化。

传感器信息融合的体系架构 —— 按照加工对象分类：

• 集中式 —— 加工的是传感器的原始数据

  • 定义：将传感器获得的原始数据直接送到中间处理器进行数据对准，融合处理。
    • 优点：信息损失小，实时融合，算法精度高且灵活
    • 缺点：对通信速率要求高，可靠性低，数量大（融合中心负担重）
  • 图示：
    

• 分布式 —— 加工的是经过预处理的局部数据，

  • 定义：每个传感器获得的原始数据先进行局部处理及预处理分类，提取特征等信息，并且通过各自的决策准则分别作出决策。然后将结果送入融合中心进行融合。来获得最终的决策
  • 特点：对带宽要求低，计算速度快，可靠性高，延续性好
  • 图示：
    

• 混合式 —— 加工的既有原始数据，又有预处理过的数据

  • 定义：集中式 + 分布式，兼备优点
  • 特点：实际场景往往采用混合式。
  • 图示：
    

传感器信息融合的层次 ：

• 数据级数据融合结构 —— 最低层次

  • 定义：直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和决策判断。
  • 特点：
    • 直接在采集到的原始数据上进行融合
    • 原始观测的信息未经预处理之前或者只进行很少的处理就进行数据综合分析，层次最低
    • 参与融合的传感器信息间具有一个像素的配准精度。
  • 应用：
    • 多源图像复合，图像分析和理解，同类雷达波形的直接合成
  • 优点：
    • 提供其他融合层次不能提供的细微信息
  • 缺点：
    • 实时性差，抗干扰差，在信息的最低层进行，要求在数据融合时具有较高的纠错能力
  • 图示：
    

• 特征级数据融合结构 —— 中间层次

  • 定义：每个传感器抽象出自己的特征向量，也可以是目标的边缘方向和速度等信息，在融合中心完成特征向量的融合处理。

  • 融合步骤：

    • 提取特征信息
    • 按特征信息对多传感器数据进行分类，综合和分析。

  • 优点：

    • 数据压缩，降低通信速率的带宽要求，有利于实时处理

  • 缺点：

  • 特征级融合分类：

    • 目标状态数据融合
      • 主要用于多传感器目标跟踪领域，对多传感器数据处理，完成数据校准，然后进行数据相关和状态估计
    • 目标特性融合：
      • 属于模式识别问题，在融合之前对特征进行关联处理，把特征向量分成有意义的组合。能够给决策分析最大结果的特征信息。

  • 图示：
    

• 决策级数据融合结构 —— 高层次

  • 定义：每个传感器基于自己的数据作出决策，然后在融合中心完成的是局部决策的融合处理。直接针对具体决策的目标，且影响决策水平。

  • 优点：

    • 融合中心处理代价低，灵活性高
    • 通信量小，抗干扰能力强
    • 容错性高
    • 对传感器依赖小，可以是同质也可异质
    • 能有效反应环境或目标各侧面不同类型信息

  • 缺点：

    • 对原传感器信息进行预处理以及获得各自的判定结果
    • 预处理代价很高

  • 图示：
    

• 融合结构对比图示：
  

四、数据融合算法

PS：后面章节会想象介绍每个算法，谢谢

• 数理统计与概率类
  - 加权平均法
  - 卡尔曼滤波
  - Bayes推理
  - Dempster - Shafer证据推理

• 人工智能类
  - 模糊逻辑
  - 神经网络
  - 机器学习
  - 深度学习

五、多传感器融合的技术（补充）

• 目的
  • 信息互补
    • 比如某个传感器失效，另外的传感器仍然可以正常获取信息，并保证正常工作。
  • 获得单一传感器无法获得的信息
    • ps： 单一的传感器无法判断障碍物的高度，我们举个超声波和视觉传感器融合来判断和计算障碍物的高度
• 技术 —— 举例，看图~
  
  • 图示拆解
    • 视觉传感器在超声波传感器上面，视觉传感器主要是成像，超声波传感器主要是测距。
    • Lz = 超声波和障碍物的距离
    • Yi 和Xi = 视觉传感器成像（每帧图像的长和宽是一定且已知）
    • h和w = 视觉传感器的成像中障碍物的高度是h，宽度是w
    • H =障碍物的高度
    • β = 视觉传感器的视场角
    • Hc = 视觉传感器的视场角延长线和障碍物垂直面的交线的一半
    • 结合三角形相似原理，自然可以得出障碍物的高度啦~
  • 实现流程
    
  • 霍夫变换补充：
    • Hough主要针对直线的检测，将图像上所有前景点进行相同的变换，将变换平面上的各点看作一个个的累加器，原图像平面上的各点变换后所得曲线在变换平面上每经过的某点，便将该点的计数器值加1，最后的结果是各曲线的交点处计数器值达到最大，该点坐标值既直线的参数。
      

PS1：下一章会详细介绍超声波雷达的原理和应用，由浅入深，希望能给您带来帮助
PS2：本专栏持续更新中，感谢关注，写的不对的地方，诚挚欢迎您指正，谢谢！