Effective Meta-Attention Dehazing Networks for Vision-Based Outdoor Industrial Systems-TII(2022)

基于元注意力的自适应图像去雾霾算法

paper: https://ieeexplore.ieee.org/document/9354018

code: https://github.com/TongyJia/MADN/

摘要：雾霾严重影响工业系统的可靠性，尤其是基于视觉的室外工业系统，如自动驾驶系统。现有的大多数去雾方法都不是专门为工业系统设计的，也没有考虑到工业系统实施的可靠性和资源成本。本研究提出了一种新颖的元注意力去雾霾网络（MADN），无需使用物理散射模型即可直接从雾霾图像中还原清晰图像。元网络结合并行操作和增强模块，通过元-注意力模块根据当前输入的图像自动选择最合适的去雾网络结构。此外，结合元网络提出了一种新颖的特征损失计算方法，可以加快去雾网络的收敛速度，满足实际工业系统的应用要求。在合成数据集和真实数据集上的大量实验结果表明，所提出的 MADN 能够满足工业系统的需求。

基于元注意力的自适应图像去雾霾算法(MADN)整体网络结构设计如图1所示，包含元注意力模块、并行操作模块、增强模块三部分。其中元注意力模块根据当前输入雾霾图像在元网络各个卷积层的特征，指导去雾网络的并行操作选择和增强模块不同尺度的特征融合。另外，利用预训练的元网络设计了特征损失，用以约束去雾图像和对应清晰图像在特征上的一致性。

图1 MADN总体网络结构设计

元-注意力模块

注意力机制已被广泛应用于计算机视觉系统的众多领域。元-注意力模块通过预训练元网络实现元操作注意机制和元尺度注意机制，提高去雾网络的泛化能力，具体结构如图2所示，包含预训练的特征提取部分(Feature Extraction Part，FEP)和权重生成部分。其中FEP包含六层卷积，利用室内合成数据集预训练学习去雾元知识。基于输入的雾霾图像，通过元网络的前馈传播，得到各层的输出特征图F i(i = 1,2,3,4,5,6)。通过在通道维度级联特征F i(i = 1,2,3,4,5)得到元特征图X。

图2 元-注意力模块结构图

 将X送入权重生成模块，通过两层FC层生成权重用于指导并行操作模块和增强模块的操作和尺度选择。权重生成公式如下：

                                                                                             

其中，和是代表两个全连通层的可学习权重矩阵。使用X的全局平均池化作为输入，以减少计算复杂度：

                                                                                                   

并行操作模块

为了提升网络结构的自适应能力，在去雾网络中设计了六层并行操作模块层，结构如图4所示。并行操作模块每一层包含四个并行卷积操作，卷积核的尺寸分别为1∗1、3∗3、5∗5和7∗7，模块间采用双残差连接。并行操作网络和双残差连接设计分别提供了操作和网络结构的可选择性。

如图3所示，操作选择是通过对并行结构中每个操作的结果进行加权来实现的，其中权重由元注意模块生成。设为第层第o(o＝1,2,3,4)个操作的输出，表示第层的最终输出。将与相应的注意力权重相乘，即可得到所选运算，通过在信道维度上级联得到。

图3 并行操作模块网络结构 

并行操作模块网络整体结构包含三个前端卷积层和一个残差层（由两个3×3卷积层组成）用于图像特征提取，此外，三个后端解卷积层用于对并行操作注意力部分提取特征进行整合，将人工提取特征和网络自适应提取特征相结合作为输入，为去雾霾提供了更多的细节和信息。

增强模块

为了提升网络对输入雾霾图像多种尺度的适应能力，在图像去雾霾结果中保留更多的细节信息，设计了增强模块。增强模块的网络架构如图4所示，其中增强器1和增强器2分别以5个尺度（1/32、1/16、1/8、1/4、1）和（1/16、1/8、1/4、1/2、1）对特征图进行融合。

输入的图像先经过两个3×3卷积层进行图像特征提取。接下来，进行多尺度池化，之后利用一层1×1的卷积进行降维，将特征图上采样到原始尺度，同时对通道进行元注意力加权。最后，经过特征融合和一层3×3卷积获得去雾图像。

图4 增强模块网络结构 

损失函数设计

元-注意力图像去雾网络的训练分为元注意力模型预训练和整体模型训练两个阶段。

元注意力模块中的预训练FEP被用于学习去雾过程中的特征提取。通过定量测量元注意力模块去雾图像与地面真实值之间的差异来优化FEP，定义为：

 

为了对元-注意力去雾网络进行训练，设计了整体训练损失函数如下式所示，包括损失、感知损失以及特征损失：

                                                                                                    

为了进一步提升图像去雾性能，在常用的感知损失基础上，利用元网络设计了特征损失以进一步约束图像细节信息。使用在ImageNet上预先训练好的VGG16作为损失网络，并从前四阶段（即Conv1-2、Conv2-2、Conv3-3和Conv4-3）的最后一层提取特征。对于，使用预先训练的FEP，并选择前5个卷积提取的特征。使用MSE计算特征之间的差值，计算公式如下：

 

                                                              

实验结果

训练集选用RESIDE数据集中的ITS(clear/hazy:1399张/13990张)和OTS(clear/hazy:2061张/72135张)。为了验证所提MADN算法的有效性，在合成数据集SOTS上进行了测试，客观指标如表1所示，与现有先进的图像去雾算法相比，MADN在合成数据集的Indoor和Outdoor场景都取得了有竞争力的结果。

表1 MADN合成数据集客观结果对比

 MADN合成雾霾图像主观结果对比如图5所示，(a)-(e)分别为输入图像、AODNet、EPDN、MADN去雾结果和目标图像。从图中可以看出，AODNet算法存在去雾不完全的现象，而EPDN算法造成了图像色彩偏移，与之相比MADN不仅有效去除雾霾，而能够保留图像风格，具有更好的主观视觉效果。        

图5 MADN对合成雾霾图像主观结果对比

为了验证MADN对真实雾霾图像的处理能力，在真实数据集上使用最先进的方法进行了定性比较。如图6所示，所得结果与合成数据集上的结果基本一致。DCP和EPDN的处理结果存在色彩失真问题，而AODNet、DehazeNet和DCPDN存在雾霾去除不彻底的现象，此外，GFN的去雾结果存在伪影，在严重雾霾的场景中不能很好的恢复物体边缘。与上述方法相比，MADN的去雾结果取得了最佳的主观感受质量。

图6 MADN真实雾霾图像主观结果对比

为了验证所提去雾算法对后续智能化分析任务的影响，在目标检测任务上进行了测试，采用预训练的目标检测模型SSD-300检测5个交通相关类别。结果如表2所示，MADN在RTTS数据集上的目标检测精度优于其他方法，并且与雾霾图像相比，使用MADN去雾后所有类别的目标检测精度均得到了提高。

 表2 RTTS数据集目标检测结果对比

 真实图像中目标检测结果的可视化结果如图7所示。从图中可以明显看出，雾霾会导致错检和漏检。使用MADN进行预处理，可以有效地提高图像的主观视觉效果和检测精度。

图7 真实雾霾图像的目标检测结果的可视化结果。(a)和(c)为对雾霾图像的检测结果。(b)和(d)为MADN去雾图像的目标检测结果

表3显示了MADN和主流去雾算法的模型大小、参数量和运行时间的比较。与其他方法相比，MADN的资源消耗显著降低，运行时间缩短。

表3不同去雾霾方法的模型大小、参数量和运行时间对比

对MADN的并行操作模块、增强模块和元注意进行消融实验，结果如表4所示。与仅使用并行操作模块相比，增强模块的增加使PSNR提高了约1 dB。另外，结合元网络分别对并行操作模块或增强模块进行加权，PSNR增益分别增加了0.11 dB和0.63 dB，证实了使用元注意的有效性。当并行操作模块和增强模块同时使用元注意时，算法性能进一步提高。

表4 MADN消融实验结果

在合成数据集和真实数据集上的实验结果表明，所提出的方法取得了最佳的图像去噪性能。此外，对降质图像增强前后的物体检测结果表明，所提元-注意力图像去雾算法可以通过提高图像质量来改善基于视觉的户外工业系统的稳定性。综合以上可以看出，本项目所提的基于元-注意力图像去雾算法具有良好的鲁棒性和泛化能力，满足了工业系统的应用需求。