DMS+OMS“融合”新风口_汽车dms和oms系统采集分析原理过程

传感器的竞争，正在从车外走进车内。

目前，国内上市的新车已经能够看到越来越多搭载舱内摄像头用于人脸识别、疲劳及分心预警的系统，同时，几款去年上市的车型已经搭载了毫米波雷达用于舱内生命体征监测，接下来，舱内的感知融合已经“箭在弦上”。

近日，大陆集团宣布推出一种新的“座舱融合感知”解决方案，实现了对整舱内全覆盖的实时物体检测。由于加入了毫米波雷达，在原有摄像头提供驾驶员监控的基础上，实现了360度无死角的安全保障。

按照Euro NCAP此前发布的路线图，欧洲市场的新车必须在2022年7月开始配备驾驶员监测系统（DMS）；同时，从2022年开始，搭载乘员监控系统(OMS)，尤其是儿童检测的新车，将得到额外的系统安全评级分数。同时，2024年起进入标配行列。

在美国，汽车制造商联盟和全球汽车制造商协会的成员企业已经达成自愿协议，到2025年将儿童检测作为一项标准功能在新车型进行配置搭载。这两家组织的OEM成员企业占到了全美轻型车销量的近100%。

从目前的市场趋势演变来看，无论是新车法规还是评级，舱内人机交互及监控的功能配置刚需已经明确。接下来，更多的变化则是技术路线的选择、性能的评估及相关标准的落地。

值得注意的是，随着高阶智能驾驶的陆续落地，整车电子架构及功能的集成度进一步提升，驾驶员和乘客的监控“离散”系统方案（DMS和OMS），将走向融合。

一、

此次大陆集团带来的新方案，也凸显出集成化的趋势。

其一是首次将摄像头直接集成到显示屏中（类似手机的屏下摄像头的概念），而不是目前上车的摄像头集成到方向盘、仪表、后视镜或者A柱的位置 。好处显而易见，“满足舱内设计的美学和集成度的最高要求。”

另一方面，雷达传感器的精确定位，可以确保舱内的所有区域都被均匀覆盖。相比而言，传统的摄像头OMS方案，存在一定的盲区、光线影响以及多颗摄像头配置的复杂度。

此外，摄像头也经过一系列新的设计，比如基于摄像头，系统还可以识别落在车上的行李。在这种情况下，系统会向用户的手机发送通知。

而基于这套融合系统，大陆集团希望后续不断增加更多新功能。比如，记录和评估驾驶员及乘客的健康指标，如脉搏、呼吸频率或体温。如果系统检测到健康紧急情况，系统将与智能驾驶系统进行联动，在最小风险策略下自动安全停车。

考虑到视觉检测的个人隐私和数据安全问题，生命体征检测被认为是毫米波雷达的目标市场之一，相比红外和超声波传感器也具有许多优势，比如对环境温度或周围环境的敏感性较低。

此前，特斯拉已经明确定调：基于60GHz毫米波雷达用于“降低儿童被遗留在车内，导致中暑的风险；同时还可以与安全气囊和安全带提醒联动，保护车内人员的安全，并增强防盗系统。”

同时，毫米波雷达方案可以同时给基于视觉的驾驶员疲劳状态监测提供生命体征这个维度的信息，帮助分析驾驶员的疲劳状态，有助于后续L3以上级别自动驾驶对驾驶员状态的准确追踪。

在大陆集团看来，在通往自动驾驶的道路上，舱内感知技术正在扮演另一个重要角色。这其中，最关键的环节就是人机交互，安全接管是自动驾驶系统必须掌握的一项关键任务。

比如，针对企业生产具有自动驾驶功能的汽车产品，国内相关政策已经明确指出，应当确保汽车产品至少满足系统失效识别与安全响应、人机交互、数据记录、过程保障和模拟仿真等测试验证的要求。

汽车创新联盟是一个在美国市场代表通用、福特和丰田等传统汽车制造商巨头的联盟组织，在回应有关监管机构对特斯拉的事故调查时，该机构明确指出，“当车道居中保持和自适应巡航控制同时启用的情况下（也就是L2级辅助驾驶），有效的驾驶员监控对于系统安全冗余至关重要。”

而按照智能网联汽车生产企业及产品准入管理相关政策，其中明确提出，加强自动驾驶功能产品安全管理。比如，应能自动识别自动驾驶系统失效以及是否持续满足设计运行条件，并能采取风险减缓措施以达到最小风险状态。

其中，人机交互功能成为关键，在特定条件下需要驾驶员执行动态驾驶任务的，应具备识别驾驶员执行动态驾驶任务能力的功能，保障驾驶员始终在执行相应的动态驾驶任务。

这个过程中，包括的不仅仅是驾驶员的分心和疲劳，还包括生命体征的健康监测。“智能驾驶和人机交互是非常重要的两个部分，这两个部分不能割裂来看。”地平线生态发展与战略规划副总裁李星宇表示。

而对于供应链来说，也将迎来新一轮的整合周期。过去，供应链的形态是摄像头、毫米波雷达通常是由两家供应商提供，有的甚至是不同的Tier1负责集成，这背后还有不同的算法。对于车企来说，这就产生了额外的功能开发集成及相应的成本支出。

二、

事实上，未来智能汽车的目标，不仅仅是自动驾驶，还有对驾驶员及乘客有深刻理解、能够满足驾驶相关需求和非驾驶相关需求的个人智能助理。基于语音、视觉及健康监测的多模态交互将是实现这一愿景的关键组成部分。

在高工智能汽车研究院看来，多模态人机交互技术的量产落地，意味着智能座舱进入真正的智能化时代。同时，过去多家供应商提供离散功能的模式也将被彻底打破。

今年6月30日，搭载地平线征程汽车智能芯片及Halo车载智能交互方案的广汽传祺GS4 PLUS正式上市。背后是集成疲劳提醒、语音识别、视线检测、手势交互、表情识别等主动人机交互技术的量产落地。

在广汽，上述多模态人机交互技术结合ADiGO 4.0智驾互联生态系统，被命名为“超感交互智能座舱”，背后的合作伙伴包括华为、腾讯、科大讯飞、地平线、苏州智华、商汤、德赛西威以及马瑞利等供应商。

“汽车驾驶舱正在发生变化。随着更多的显示器、摄像头、传感器和人工智能功能的加入，它变得越来越复杂。此外，车内和车外的界限越来越模糊，无缝的交互体验正在成为趋势，”大陆集团北美人机界面主管Jens Brandt表示。

同时，针对座舱人机交互的特定需求，尤其是涉及到眼球跟踪、多模语音交互、多音区检测等视觉、语音和多融合算法的高效处理支持，也在重塑智能座舱异构计算的全新平台架构。

更具智能化交互能力的座舱，除了更高效的芯片，更需要一个安全稳定、高效流畅且能快速实现功能开发的操作系统。

现阶段的智能座舱OS通用做法是基于虚拟机Hyperviser支持多个操作系统，分别运行着仪表和中控娱乐信息两套独立的系统，典型的是QNX+ Android+应用级融合中间件的方案。

这种方案体现在用户端，则是车内所有的屏幕成为应用的分布式呈现，背后则是一个个独立的智能终端，两个操作系统间主要通过第三方中间件的技术，对部分数据和服务在应用级实现融合。

而行业的技术创新和应用落地正在打破这种传统模式。

比如，斑马智行的全新一代智能座舱操作系统分为了三个Core，分别是仪表Core、车机Core以及AI智能Core，通过系统级Fusion技术将三个系统整体融合打通。可同时支持仪表Core和车机Core的运行。

同时，这套系统适用于域集中及中央计算电子电气架构下的车型开发，不仅是应用和服务开发者，包括算法开发者、交互设计师等都可以将通过该系统为汽车和用户定义更好的服务和体验。

而地平线提出的全场景整车智能，则是以征程5芯片为基础的高性能大算力整车智能计算平台的着力点，目标很清晰：为多种整车智能应用场景提供算力、算法、开发效率的协同支持，实现效能最大化。

在统一芯片架构的基础上，Horizon Matrix SuperDrive整车智能解决方案可快速打通车内外功能，能够基于车外路况和车内驾驶员状态融合判断主动介入，实现车内场景感知和理解动态调整驾驶策略。

此外，地平线今年推出的基于安全微内核架构的开源实时车载操作系统TogetherOS™️，就是为了满足高等级自动驾驶实时性要求和功能安全要求，可覆盖自动驾驶、智能交互、智能网联、智能车控等车载全应用场景。

TogetherOS™️采用面向下一代域集中式和中央集中式车载SoC平台设计，即可通过虚拟化来承载Linux、Android等操作系统，满足车载各个不同功能域的操作系统需求；又可基于高度灵活性和可扩展性的OS架构，来支持小核简单和多核复杂的应用场景。

目前，地平线已经宣布与AutoCore、斑马智行、长安汽车、长城汽车、江汽集团、上汽集团、雄狮科技达成生态合作伙伴关系（这个阵营还将持续扩大），同时宣布将TogetherOS™️开源开放。

从上述创新方案的架构来看，清晰的路径就是，在软硬解耦的大背景下，底层标准硬件、操作系统和中间件将成为基础底座，OEM或者Tier1只需要在此基础上拓展上层应用，同时针对多个功能进行算法的集成。