为什么BEV和OCC是通用的？目前落地情况怎么样？

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

BEV模型和Occupancy任务在特征生成范式几乎完全相同，时序方法也完全适用。两个子领域都采用LSS、Cross-Attention和纯卷积的范式来优化模型，如果说唯一不同的点，那就是应用层面上的检测头不同，一个是分割任务（Occupancy），一个大部分是OD任务（BEV）。

一般来说，BEV检测任务主要完成语义清晰，型状稳定的通用几何目标的识别，比如小轿车、货车、自行车、骑车人、行人、禁停标志等等，但检测领域会有明显的长尾效应，比如截断目标、形状不规则、未有清晰语义的目标（比如挂车、树木、垃圾、以及石子等），或颜色纹理非常奇怪。传统的3D检测在这类场景上很容易失效，此时的检测任务可能无法准确建模，出现误检和漏检。

Occ任务则更关注通用几何信息，不过度区分语义，更体现空间是否“被占用”，而不是完整的长宽高信息。这样的网络能够轻松解决截断目标、形状不规则、未有清晰语义的目标检出问题，和BEV检测相互配合，形成感知闭环。

目前主流自动驾驶公司基本打通了BEV部署+Occ部署任务，在orin等高算力平台上成为标配，当然也有一些主机厂或小型自动驾驶公司因为技术上的缺失未能有效落地。那么BEV和Occ的难点在哪里？自动驾驶之心觉得BEV模型难在部署和海量数据生成，Occupancy任务则难在部署和优质数据生成。

首先BEV感知的算法基本稳定，如何造更多高质量的训练数据呢？比如200-500w量级的，人工标注当然不行，成本极高。那么可以关注自动标注与数据闭环，让系统自己生成高质量的数据。除此之外，训练好的BEV模型如何在边缘端设备，比如orin上高效推理呢？这就涉及到量化问题，float16还是int8？掉点了怎么办？怎么解决排查？多模态BEV模型怎么部署？算力不够怎么优化轻量级模型？这些都是主要的问题。

Occupancy模型结构基本和BEV一致，除了部署难之外，高质量的数据生成也是问题。优质的真值需要包含以下几个部分：真值稠密化（不能太稀疏）、动静态目标不能有拖影、地面干净无误检、区分遮挡和非遮挡元素、类别划分正确、细粒度足够等等。这就涉及到前景稠密化、背景稠密化、多帧如何有效拼接？如何分割地面？如何清理地面等多个方面，实施起来难度较大，需要很多trick，很多同学训出来的模型往往误检测一大堆......

BEV和Occ任务撑起了整个自动驾驶量产方案，技术栈非常重要！虽然端到端盛行，但什么时候上车还未可知。掌握BEV和Occ技术栈，是胜任自动驾驶算法岗的必需品。

自学太难？转行太难？

然后，部署和数据优化这两个任务并不简单，很多转行的同学或刚入门的小白踩了大量坑，半年了还没成果出来！几乎要到放弃的边缘。自动驾驶之心一直关注行业的技术动态，也很清楚整个行业需要什么人才。为此，我们推出了业内首个面向自动驾驶领域的模型部署课程、Occupancy数据生成与模型实战课程。

早鸟优惠立减70！扫码学习课程

面向自动驾驶领域的模型部署课程关注BEV检测模型部署、BEV车道线模型部署、Occupancy模型部署、BEV自动标注、BEV跟踪、BEV下的多任务学习等，真正面向量产。

主要亮点：

1）目前国内最系统/最全面的部署课程，面向量产级；

2）涵盖了自动驾驶的3大主流任务模型的部署，全栈的技术分享；

3）掌握目前大火的BEV跟踪方案，无论是单帧或是多帧都能轻松应对；

4）完整的Torch转ONNX，ONNX转TRT流程，举一反三；

5）学会解决BEV量化掉点问题，助力模型上车；

6）通过C++部署TRT模型，对常见的后处理与主流部署框架有着较深的理解；

7）各大自动驾驶公司都认可的部署方案，无论实习/校招/社招都具有很大优势；

8）良好的自动驾驶学习圈子，一起交流踩过的坑和面试遇到的题目；

适合人群：

1）所有自动驾驶感知方向的本科/硕士/博士群体，面向简历的项目，助力面试；

2）所有自动驾驶领域的算法开发人员，希望能够应用到实际工作中的同学；

3）想要转到自动驾驶部署与开发的同学；

Occupancy数据生成与模型实战课程关注Occupancy数据生成、2D任务监督Occ模型、自监督、多模态occ任务，真正解决occupancy模型卡脖子的问题：

课程亮点：

1）从0到1带你生成和优化Occ真值数据

2）多个Occ实战代码详解，知其然知其所以然

3）彻底搞懂NeRF是怎么监督Occ任务的

4）多个监督方式详解，熟悉常见的2D/3D/点云监督方案

5）丰富的大作业，让每个同学都学有所成

适合人群：

1）计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；

2）CV与自动驾驶2D/3D感知相关算法工程人员；

3）量产和预研工作需要的同学，面向L2~L4级应用；

4）想要转到自动驾驶领域的相关同学；

扫码学习咨询

早鸟优惠立减70！扫码学习课程

欢迎咨询小助理了解更多！

写在最后

自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！

投诉微信：AIDriver004(备注：盗版举报)

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！

自动驾驶感知：目标检测、语义分割、BEV感知、毫米波雷达视觉融合、激光视觉融合、车道线检测、目标跟踪、Occupancy、深度估计、transformer、大模型、在线地图、点云处理、模型部署、CUDA加速等技术交流群；

多传感器标定：相机在线/离线标定、Lidar-Camera标定、Camera-Radar标定、Camera-IMU标定、多传感器时空同步等技术交流群；

多传感器融合：多传感器后融合技术交流群；

规划控制与预测：规划控制、轨迹预测、避障等技术交流群；

定位建图：视觉SLAM、激光SLAM、多传感器融合SLAM等技术交流群；

三维视觉：三维重建、NeRF、3D Gaussian Splatting技术交流群；

自动驾驶仿真：Carla仿真、Autoware仿真等技术交流群；

自动驾驶开发：自动驾驶开发、ROS等技术交流群；

其它方向：自动标注与数据闭环、产品经理、硬件选型、求职面试、自动驾驶测试等技术交流群；

扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵