单目3D检测入门！从图像角度分析3D目标检测场景：MonoDLE

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨寒风

来源丨 自动驾驶之心

点击进入—>3D视觉工坊学习交流群

1简介

MonoDLE是2021年发在CVPR上的一篇单目3D目标检测（以下简称单目检测）方向的文献。

单目检测现在更多的成果还是以模仿激光雷达(DD3D)或者引入激光雷达辅助学习（CMKD，当前SOTA）的流派为主。而MonoDLE则显得更加“老派”，沿袭了SMOKE的纯视觉角度对场景进行分析，并反驳了SMOKE提出的2D检测对3D检测没有帮助的论点。当然了，说完全不靠激光雷达也不准确，毕竟3D标签还是靠人家点云标的。

这篇文章的价值就在于简单，对单目检测这个任务进行了拆解分析，对于刚接触这一领域的工作者十分友好，可以对单目检测建立一个初步的认识。并且，他的加强版模型MonoCon去年也曾拿过一段时间的KITTY榜首，证明了这套方法的有效性。

2场景分析

这篇文章很有意思的地方就在这里，作者设计了一系列诊断实验，来分析每一个子任务对模型整体表现影响的大小。具体方式就是，依次用真值代替每一个子任务的预测结果然后观察模型的最终表现。

很明显能看出来，当3D框中心点坐标的预测值采用真值代替时，模型的表现几乎赶得上激光雷达了，同时深度估计也是一个很大的影响因素。

基于这个核心观察，作者做了三个方面的主要工作：

1. 重新分析了2D检测框中心点和3D框中心点投影之间的偏移，并且在模型的head上做出了适应性设计。

1. 作者认为现在的技术还不足以支持远距离目标的精确估计，作者在后面的内容中给出了论证，距离越远，单个像素误差对应的实际偏移就会越大。而强行将远距离样本纳入训练集，会对模型造成得不偿失的影响，所以作者干脆删掉了60米以外的训练样本。事实证明学明白了近端的模型，在远距离上表现得还凑合。

2. 作者设计了一个新的针对尺寸估计的损失函数，避免尺寸估计受到定位精度的影响。

作者还专门声明了保留2D检测任务的意义，认为从2D中心点和宽高的学习中获得的共享特征，可以帮助到3D任务。针对这一论点，虽然没有做严格的对照实验，不过这俩模型用的都是DLA-34，其他没有什么重大的设计上的差别，最后的提升也足够明显，还是挺有说服力的。当然任务扩展肯定要带来时间消耗，总体比SMOKE慢了10ms，不过从工程方面讲可以兼容一些原来开发的基于2D检测的任务，也能接受。

3Baseline以及优化方案

作者采用了CenterNet的基础架构作为Baseline，在保留了2D检测任务的基础上添加了一系列3D检测的子任务，最终达到3D检测的目的。这里顺便说一句，CenterNet这个模型虽然知名度不低，但是作为工程工具始终被Yolo落下好远。不过到了3D场景下，因为其简单直接易扩展的特性，经常被拿来魔改，不光是单目3D目标检测，很多多模态融合检测的场景也会拿它来做Baseline，所以还是有一定学习价值的。

模型的backbone还是选用了发挥稳定的DLA-34，比较可惜的是CenterFusion中提出的加了DCN的DLA因为工程化困难一直没有被广泛使用，否则是一个不错的涨点trick。关于DLA的优化大家可以去看一下SMOKE的论文，解读很多就不细说了，还是有很多不错的优化细节的。

在backbone之后，一共有7个检测头，统一规格都是一个3×3卷积层加一个1×1卷积层。7个头分别用来预测

• 像素坐标系下的粗估中心c的坐标（u,v）

• 2D框中心ci相对于c的偏移量oi(Δui,Δvi)

• 2D框宽高w2D、h2D

• 3D框中心在像素坐标系下的投影cw相对于c的偏移量ow(Δuw,Δvw)

• 3D框中心点深度z

• 3D框长宽高l、w、h

• 航向角γ

这里针对其中几个任务的细节做一下说明：

1. 粗估中心

粗估中心的监督标签用的是3D中心的投影，也就是cw的真值，毕竟是主要任务嘛，需要一些偏向。文章中说以前的一些文献用的是2D框中心点真值做监督，这个不重要。

2. 3D中心点坐标

从任务分配就可以看出，3D中心点在相机坐标系下的三维坐标（xw,yw,zw）是分两个头实现的，通过预测3D中心在像素坐标系下的投影坐标cw，结合相机内参可以获得中心点在图像物理坐标系下的坐标（x,y,z）。再通过预测深度zw，获得zw/z这个比例系数，就能求出xw，yw。由此可见，深度估计对整体定位精度的影响还是很大的。

3. 深度估计

本文对于深度估计的设计，整体还是端到端的思路，不过在输出上做了一个不确定性建模，在预测深度d的基础上同时预测标准差σ。对于σ的分布，文中做了拉普拉斯分布和高斯分布

两种假设并进行了实验验证，最终证明拉普拉斯分布下的约束方式效果更好。不过从误差分析的结果上来看，30米外的目标就有1.5米的误差，即便是做了优化，深度估计这块儿仍然是任重道远。

4. 尺寸估计

以往的尺寸估计，应用的损失函数都是通过计算和真值框之间的交并比来约束优化方向。这样带来的问题就是，由于中心点的预测误差导致的损失偏大，会给尺寸估计带来不必要的负担。所以作者单独拎出了尺寸估计并专门设计了损失函数，只针对尺寸的预测误差对这个分支进行优化。并且根据长宽高对于IOU影响的比例不同，对参数优化的权重也按比例进行了设置。这一部分虽然作为一个单独的贡献进行了说明，不过在整个项目中的提升并不算大，就不展开说了。

5. 航向角估计

航向角用的是multi-bin loss，没有什么特殊优化，论文链接在这里https://arxiv.org/abs/1711.08488。

4结语

总体看下来这篇文章还是挺优秀的，确实有新东西，也分析清楚了很多问题。看完之后也能明白为什么深度估计能作为一个单独的方向发展这么久了，其实大部分单目检测方法的主要区别就是针对这个问题做出了不同选择，要么继续尝试从图像角度去优化这个病态问题，要么就干脆去仿激光雷达，或者通过硬件比如深度相机去规避（不过这个好像也不算真正意义上的单目了）。怎么处理深度信息的预测问题也是看大多数单目检测论文的一个不错的切入点。

本文仅做学术分享，如有侵权，请联系删文。

点击进入—>3D视觉工坊学习交流群

干货下载与学习

后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件

后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf

后台回复：3D视觉课程，即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法：算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼）

12.重磅！四旋翼飞行器：算法与实战

13.ROS2从入门到精通：理论与实战

14.国内首个3D缺陷检测教程：理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3：理论基础+代码解析+算法改进

重磅！粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿，微信号：dddvisiona

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，6000+星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看，3天内无条件退款

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~