基于深度学习的车道线检测主要分为2D车道线检测和3D车道线检测。其中,2D 车道线检测任务的输入为 RGB 图像,输出为 2D 相机图像空间的一组结构化的车道线;而 3D 车道线检测任务的输入为 RGB 图像,相机内参,可选相机外参,输出为在 3D 相机坐标系空间一组结构化的车道线。如图 2 所示:

有挑战性的任务。虽然深度学习算法的高效特征表达效果显著,但是在现实的世界中,对于精确地检测车道线的任务还是具有挑战性。比如，车道线和地面其他线的混淆（车道线与车位线），检测不准确的问题，遮挡问题，强光照问题等等。

二、车道线数据集

CULane:该数据集是一个大型的具有挑战性的数据集,包含多种策略,例如拥挤,夜景,交叉等,包含了城区和高速场景,有 10 万张图像,分辨率为 1640*590像素。

LLAMAS:该数据集是一个大型的车道线检测的数据集有超过 10 万张图像,车道线通过高精度地图自动标注。测试集样本标签不公开。
Tusimple:该数据集是运用最广泛的数据集,仅仅包含高速场景,分为 3268张训练图像,358 张验证图像和 2782 张测试图像,分辨率为 1280*720.

OpenLane：OpenLane数据集是3d的车道线数据集，里面的图像是前视摄像头拍摄的，有很多大坡度的场景，标注包括2d和3d车道线的标注，车道线类型，以及摄像机内外参等的标注。

通常情况下,CULane 和 Tusimple 是论文中必测数据集,而 LLAMAS 是最近才公开的数据集,其他数据集还有很多,例如华为的 CurveLanes 等。

三、2D车道线检测算法

基于深度学习的车道线检测算法主要分为四类,分别为基于语义分割的方法,基于检测的方法,基于参数曲线的方法,基于关键点方法。

1、基于语义分割的方法

基于分割的方法将车道线检测建模为逐像素分割的问题,将每个像素分为车道线区域或者背景。这类模型通常是在语义分割的基础上,增加一个车道线实例判别头,来对车道线是否存在进行监督学习。经典的工作有 SCN、RESA、LANENET等。

1.1LaneNet:(2018)

作者设计了一个多任务的网络,一个车道分割分支和一个车道嵌入分支,可以进行端到端的训练。车道分割分支输出两类,背景或者车道,车道嵌入分支进一步将分割出来的车道像素通过 meanshift 划分为不同的车道实例。知道每个像素属于哪个车道线之后,将每一个车道线实例通过 H-net 转换为参数描述。很多公司都用这个网络作为车道线检测网络，但是该网络比较大，不利于加速部署。

1.2 RESA:(2020)

RESA 在特征图中收集信息,并更直接,更有效地传递空间信息。如图 1 所示,RESA 可以通过循环地移动特征图的切片来垂直和水平地聚合信息。RESA 将首先在垂直和水平方向上对特征图进行切片,然后使每个切片的特征接收与某个跨度相邻的另一个切片的要素。每个像素分几步同时更新,最终每个位置都可以在整个空间中收集信息。这样,信息可以在特征图中的像素之间传播。

本文还提出了双上采样模块,每个块两次上采样,最后讲 1/8 特征图恢复到原始大小。双向上采样解码器由粗粒度分支和细粒度分支组成。经过解码器上采样后,输出特征图将用于预测每个车道的存在和概率分布。紧随其后的是全连接层以进行存在预测,并将执行二进制分类。将针对车道概率分布预测进行逐像素预测,这与语义分割任务相同。

2、基于检测的方法

基于检测的方法通常采用自顶向下的方法来预测车道线,这类方法利用车道线在驾驶视角自近处向远处延伸的先验知识,构建车道线实例。又可细分为Anchor 方法和实例检测方法。
基于 Anchor 的方法设置线形 Anchor,并对采样点与预定义 Anchor 的偏移量进行回归。采用 NMS 选择置信度最高的车道线。相关工作有 LineCNN、LaneATT等。基于实例检测的方法,将图像水平条带等距切分,检测水平条带中每条车道线的位置。相关工作有 CondLaneNet、UFAST 等。

2.1 LaneATT

LaneATT 是一种基于锚点的深车道单阶检测模型。输入是前置摄像头接收的RGB 图像,输出是车道的边界线。
输入一幅图像,LaneATT 使用 Resnet 作为特征提取,生成一个特征映射,随后每个锚被投影到特征映射上。这些特性与一组由注意力模块产生的全局特征相结合,通过结合局部和全局特征,这在遮挡或没有可见车道标记的情况下可以更容易地使用来自其他车道的信息。最后,将组合特征传递给全连接层,以预测最终的输出车道。

2.2 Ultra Fast Structure-aware Deep Lane Detection(2020)

该算法通过将车道线检测定义为寻找车道线在图像中某些行位置的集合,基于行方向上的位置选择,分类。使用全局特征来选择图像在预定义行上的车道线位置,而不是根据局部感受野对车道线的每个像素进行分割,即将车道线检测本文的方法可以同时解决速度和无视觉提示问题。轻量级的可以达到 300FPS 比其他算法快四倍。

辅助分支在上部,仅训练有效,蓝色框是特征提取器,分类预测和辅助分割任务分别在绿色和橙色框中,在每个行 anchor 上进行组分类。将原来 H*W 个分类问题简化成为只需要 h 个分类问题,h 远小于图像高度 H 的。来自图像其他位置的上下文信息和消息可用于解决无视觉提示问题。从学习的角度来看,还可以根据公式使用结构损失来学习诸如车道的形状和方向之类的先验信息。可以看到在 Tusimple 数据集上我们的方法比 SCNN 快了 41.7 倍,比 SOTA 的 SAD 也快了 4
倍。但是 Tusimple 数据集上大家性能也比较饱和了,没有达到 SOTA 的水平。

3、基于参数曲线的方法

不同于点回归,基于参数曲线的方法通过曲线参数去给车道线建模,并通过回归这些参数来检测车道线,相关工作有:PolyLaneNet、BezierLaneNet 等。

3.1 rethinking Effificient Lane Detection via Curve Modeling(2022)

该篇文章是通过预测贝塞尔曲线的四个控制点的方式来确定车道线的。

特征提取器包含 3 个 resnet 结合 resa 模块,还要在特征提取器上加一个分割分支,输出贝赛尔曲线的四个控制点。
通过对特征图进行水平折半翻转,之后通过可变形卷积实现特征的增强表达。

4 基于关键点的方法

受启发于人体姿态估计的相关算法,基于关键点的方法将车道线检测看成为关键点估计和整合的问题,相关工作有:FOLOLane、GANet,pinet 等。

4.1 FOLOLANE(2021)

该算法通过对局部模式进行建模,并以自下而上的方式实现对全局结构的预测。
通过输入一张图片,经过卷积神经网络提取特征,逐像素预测四个热力图,一个关键点热图和三个偏移热力图,为了验证聚焦局部几何特征的有效性,采用了轻量的 ERFNet 和 BiSeNet。编码器抽象图像为下采样后的特征图,解码器将高阶段的语义给了相同分辨率作为输入。

上面模型已经输出了关键点的热力图以及每个点到真实关键点的偏移。热力图决定了曲线从哪开始解码,而偏移用于关联这些关键点,使之组成一个完成的车道线曲线,并且微调几何结构。文章提出两种解码方式。

4.2 GAnet CVPR2022(可形变卷积)

通过直接回归关键点到车道线起始点的偏移,来完成对车道线关键点的并行聚合。还提出一个车道线感知特征增强模块,以车道线局部关键点关联,提升车道线局部连续性。由于在以上的关键点全局关联过程中,每个关键点都直接与车道线的起始点相关联,同一车道线上相邻关键点之间的缺乏关联,这可能会影响车道线的局部连续性。因此,我们还提出了一个车道感知的特征增强模块(Lane-aware Feature Aggregator,LFA)输入前视相机图片,依次经过主干网络(backbone)、自注意力模块(SA)、FPN 模块提取图片的多尺度特征后,GANet利用一个关键点头(keypoint head)和一个偏移量头(offset head)来分别预测关键点的置信度图(confidence map)和关键点到车道线起始点的偏移量图
(offset map),在推理过程中通过对这二者进行采样和组合,可以将关键点分配到所属的车道线,得到最终的车道线预测结果。LFA 作为一个特征增强模块,插入在关键点头之前以帮助关键点预测。

5 其他

5.1 CLRNet 2022

网络通过 FPN 结构产生特征,每一个车道线从高水平特征到低层次特征进行调优,每一个头从车道线先验特征获得上下文信息。最后对车道线先验进行分类和回归。
CLRNet 提出了一种结合高层次和低层次特征的网络结构,一方面可以感知环境信息,聚集全局特征,另一方面也能结合局部的信息精准定位车道线。并且文章提出一种全新的线段交并比损失函数,进一步提升了车道线的定位精度。简而言之,CLRNet 可以帮助无人驾驶系统进行更类人的判断,精准“修补”出因为遮挡和破损而消失的车道线。

6 总结

由于基于语义分割的模型是逐像素预测的,所以耗时会大,并不高效。采用 anchor 方法精度速度都不错,但有可能线形比较复杂时,或者变道时,效果会差,基于参数的方法,推理速度很高,但是由于车道线形状的复杂性,特殊情况效果不一定会太好。

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/346518?site

基于深度学习方法的车道线检测综述(2022)_车道线回归

一 概述