CVPR2023 Best Paper！首个感知决策一体化自动驾驶通用大模型，恭喜商汤联合团队！...

编辑 | 新智元

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

【导读】CVPR 2023正式公布最佳论文等重磅奖项。来自上海人工智能实验室、武汉大学、商汤科技团队联合发表论文Planning-oriented Autonomous Driving（以路径规划为导向的自动驾驶）实现自动驾驶技术的重要突破，获CVPR最佳论文。

一年一度的CVPR是计算机视觉领域的顶级会议。2023年，CVPR大会的论文投稿总量达9155篇。

其中，商汤科技及联合实验室共有54篇论文被CVPR 2023接收，包含一篇最佳论文、一篇最佳论文候选，以及七篇Highlight论文。

在近万篇论文中，上海人工智能实验室、武汉大学、商汤科技联合团队研究成果Planning-oriented Autonomous Driving（以路径规划为导向的自动驾驶）最终脱颖而出，斩获CVPR 2023最佳论文奖（Best Paper Award）。

这是CVPR历史上第一篇以自动驾驶为主题的最佳论文，该论文首次提出感知决策一体化的自动驾驶通用大模型UniAD，开创了以全局任务为目标的自动驾驶大模型架构先河，标志着自动驾驶技术的重要突破，为自动驾驶技术与产业的发展提出了新的方向。

论文题目：Planning-oriented Autonomous Driving

论文地址：https://arxiv.org/abs/2212.10156

论文显示，UniAD首次将检测、跟踪、建图、轨迹预测，占据栅格预测以及规划，整合到一个基于Transformer的端到端网络框架下，是自动驾驶中重要的技术突破。

UniAD将各任务通过token的形式在特征层面，按照感知-预测-决策的流程进行深度融合，使得各项任务彼此支持，实现性能提升。

在nuScenes数据集的所有任务上，UniAD都达到SOTA性能，比所有其它端到端的方法都要优越，尤其是预测和规划效果远超其它模型。

作为业内首个实现感知决策一体化自动驾驶通用大模型，UniAD能更好地协助进行行车规划，实现「多任务」和「高性能」，确保车辆行驶的可靠和安全。

基于此，UniAD具有极大的应用落地潜力和价值。

融合五大核心模块，解决自动驾驶「规划」难题

为什么之前的自动驾驶系统做不到呢？

自动驾驶是一项高度复杂的技术，需要多个学科领域的知识和技能，包括传感器技术、机器学习、路径规划等方面。

同时，还需要适应不同的道路规则和交通文化，实现与其它车辆、行人进行良好的交互，以实现高度可靠和安全的自动驾驶系统。

当前大部分自动驾驶系统研究，都聚焦在具体的某个模块，缺少能够实现端到端联合优化的通用网络模型。

现有的自动驾驶系统可大致归为三类：

（a）模块化组成的系统；

（b）多任务模块架构的系统；

（c）端到端自动驾驶系统。

其中传统的端到端算法可分为（c.1）基础的端到端算法，直接从传感器输入预测控制输出，但是优化困难，在充满复杂视觉信息的真实场景中应用面临较大挑战；（c.2）按照任务划分网络的显式设计，但是网络模块之间缺乏有效的特征沟通，需要分阶段的输出结果，任务间缺乏有效交互。

（c.3）本文提出的决策导向的感知决策一体设计方法，用token特征按照感知-预测-决策的流程进行深度融合，使得以决策为目标的各项任务指标一致提升。

最为常见的是模块化组成的系统架构，或者部分模块组成多任务架构，他们都以优化部分性能为核心，比如检测性能（检测准确度）、预测性能（预测准确度）。

而端到端自动驾驶系统，以UniAD自动驾驶通用大模型为代表，是以最终的驾驶性能为目标，从解决实际问题出发，例如提升规划出来的车辆行驶轨迹的安全性。

现在行业中大多数端到端（End-to-end，E2E）的自动驾驶系统，由于没有很好的网络框架来融合全部五大模块，都只能融合部分模块

UniAD首次将检测、跟踪、建图、轨迹预测、占据栅格预测以及规划五大模块，整合到一个基于 Transformer 的端到端网络框架下，各任务间以通用的token形式进行融合，共同优化。

通过将环视的图片以Transformer映射得到BEV的特征，同时进行目标的跟踪，在线的建图，包括目标轨迹的预测，还有障碍物的预测，最终实现驾驶行为。

商汤科技联合创始人、首席科学家王晓刚表示，UniAD是业内首个感知决策一体化的自动驾驶通用大模型，并且整体系统性能取得大幅提升，代表了未来自动驾驶技术的发展趋势。

「这种端到端的优化在多项的关键技术指标上超越了SOTA。比如，多目标跟踪准确率超越SOTA 20%，车道线预测准确率提升30%，预测运动位移误差降低38%，规划误差降低28%。」

基于UniAD打造的自动驾驶系统，相比其它只能融合部分模块的系统，各任务间以通用的token进行融合，可同时完成更多任务、突破更高性能，大大提升各个模块的联调效率，更好地解决自动驾驶中的实际问题，以有效推动商业化落地。

以下案例，展示了UniAD在数据集nuScenes上多个复杂场景下的优势。

UniAD感知到左前方等待的黑色车辆，预测其未来轨迹（即将左转驶入自车的车道）和未来的occupancy，推算继续前行有碰撞风险，并立即减速以进行避让，待黑车驶离后再恢复正常速度直行

得益于 UniAD 的地图分割模块与规划模块的深度交互，规划模块基于道路信息作出判断，向前行驶时依据道路结构适时地转弯

在视野干扰较大且场景复杂的十字路口，UniAD 能通过分割模块生成十字路口的整体道路结构（如右侧 BEV 图中的绿色分割结果所示）和周围车辆的轨迹，由基于注意力机制的planner完成大幅度的左转

在夜晚视野变暗的情况下，由于需要继续直行至下个路口左转，UniAD 能感知到前车停止且左右均有障碍物，所以先静止，待前车行驶并再前行并左转

以下案例，展示了UniAD在国内真实场景的实际演示效果。

在拥堵路段上，UniAD能感知到前方大车的停车和启动状态，做出相应的减速和加速决策，保持足够的安全距离

得益于地图重建任务，UniAD在路口和曲折道路上，也可以做出符合道路曲率的路径规划

以UniAD感知决策一体化为基础，推动自动驾驶多模态大模型发展

近些年，作为拥有行业领先技术的人工智能公司，商汤在自动驾驶技术领域的研究和发展布局一直吸引着人们关注。

例如在今年上海车展上，商汤展示了广汽埃安AION LX Plus、哪吒S等车型搭载商汤绝影智能驾驶方案的落地成果。

王晓刚认为这些都离不开商汤持续建设打造的「大模型+大装置」技术路径，以及在自动驾驶行业长期深耕的积累与实践。

「2021年，我们在强大的感知模型的指导下开发了自动驾驶的BEV（Bird Eye View）感知算法并提出了在业内具有广泛影响力的BEV Transformer，在Waymo挑战赛上，以绝对的优势取得了冠军。现在，我们开发的UniAD第一个集成了感知决策一体化，实现端到端的自动驾驶。未来我们将沿着多模态大模型的道路，去进一步推动自动驾驶的进步。」

UniAD 是一项极具创新性的自动驾驶技术，且因其具有很大的潜力和应用价值，目前在学术界和工业界都引起了广泛兴趣和关注。

而随着通用人工智能（AGI）引领的二次革命的到来，以此为基础，期待在未来，我们能推动实现更高阶的自动驾驶人工智能。

参考资料：

https://arxiv.org/abs/2212.10156

（一）视频课程来了！

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、多传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频，欢迎大家自取（扫码进入学习）

（扫码学习最新视频）

视频官网：www.zdjszx.com

（二）国内首个自动驾驶学习社区

近1000人的交流社区，和20+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测）、自动驾驶定位建图（SLAM、高精地图）、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

（三）【自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向；

添加汽车人助理微信邀请入群

备注：学校/公司+方向+昵称