Rethinking Performance Gains in Image Dehazing Networks

3.1. Motivation

我们首先描述了gUNet的动机，它是基于从以前的工作中获得的关键设计。第一个是多尺度信息的提取，我们使用经典的U-Net [32]作为我们的基础架构，它生成不同大小的特征图，从而提取多尺度特征。然后，我们将局部残差[17]加入卷积块，将全局残差[59]加入网络。为了在不显著增加参数数量和计算成本的情况下使网络更深入，我们使用深度可分离卷积[21,45]来有效地聚合信息和变换特征。现在网络设计的关键是如何利用注意机制来提高网络的表达能力。我们还记得等式(1)并发现大气光A是一个共享的全局变量，而t (x)是一个与位置相关的局部变量。在FFA-Net中，信道注意模块是唯一能够有效提取全局信息的模块。我们认为，通道注意机制有效地提取了编码A所需的信息，这也是FFA-Net正常工作的原因之一。然而，虽然信道注意模块的计算成本很小，但它所引入的参数的数量和延迟时间是不可忽略不计的。我们认为估计应该是一个简单的任务，因为有很多方法[4,16,43,58]分配大部分的计算资源来估计t (x)但使用轻量级模块来估计。因此我们只分配这个任务的融合模块基于SK模块[26]，动态融合特征地图从不同的路径。相应地，像素注意模块的目的是使网络更加关注信息特征。我们发现GLU [7,46]中的门电机制也起着类似的作用。为此，我们在卷积块中引入了门控机制，并使其作为像素注意模块和非线性激活函数。

 我们的gConv主要基于gMLP [27]和GLU [7,46]。假设x是特征映射，我们首先通过xˆ=批规范(x)使用批规范[23]对其进行归一化。为了进行推断，批处理规范使用了在训练集上跟踪的统计数据的指数移动平均值。它可以与相邻的线性层合并，更符合轻量级网络的要求。此外，批规范没有LayerNorm [2]的缺点，它打破了前[47]中提到的空间相关性。

其中，PWConv为点向卷积层，DWConv为深度向卷积层。然后我们使用x1作为x2的门控信号，然后使用另一个PWConv进行投影，输出用恒等快捷方式x求和，可以表述为：

在其他图像恢复任务[6,48,56]中，使用门控机制来提高网络的表达能力并不是一个新想法。与我们的工作最相似的工作是NAFNet [6]，考虑到我们俩都不使用传统的非线性激活函数，如ReLU和GELU，而只依赖于门控机制来实现非线性。相比之下，NAFNet使用GLU的双线性变体（即没有任何非线性激活函数），我们使用原始版本的GLU版本（即使用sigmoid作为门控函数）。

最后，我们通过y=a1xˆ1+a2x2融合xˆ1，x2。为了减少参数的数量，MLP的两个PWConv层分别是降维维和增维层，这与传统的通道注意机制[22]一致。

  3.5. Implementation Details

为简单起见，我们将每级gConv块数设置为{M、M、M、2M、M、M、M}，信道数设置为{N、2N、4N、8N、4N、2N、N}，其中M为基块数，N为基信道数。为了验证gUNet的可伸缩性，我们提出了四种gUNet变体（-T、-S、-B和-D，分别适用于微小、小、基本和深）。我们将所有变体的DWConv的宽度和核大小k设置为相同的，特别是N = 24和k = 5。这四种变体只在深度上有所不同，我们将它们的基块数M设置为{2、4、8、16}。

我们使用4张卡的RTX-3090来训练我们的模型。在训练时，图像被随机裁剪到256个×256个补丁中。考虑到不同的数据集有不同的样本数，我们将每个纪元的样本数设置为16384，总周期为1000，其前50个用于预热，最后200个用于FrozenBN。这样，我们就可以排除训练迭代的影响，更好地分析不同数据集上的消融研究的差异。受GPU内存的限制，我们将{-T、-S、-B、-D}的小批处理大小分别设置为{128、128、64、32}。对于gUNet-D，它的规范化批处理大小小于16，所以我们启用了SyncBN。基于线性缩放规则[14]，我们将{-T、S、B、D}的初始学习速率设置为{16、16、8、4}×10−4。我们使用AdamW优化器[34]（β1 = 0.9，β2 = 0.999）和余弦退火策略[33]对模型进行训练，其中学习率从初始学习率逐渐下降到{16,16,8,4}×10−6。

4.1. Experimental Setup

我们在驻留的[25]、Haze4K [30]和RS-Haze [47]数据集上进行了实验。对于驻留数据集，我们遵循FFA-Net [42]的设置，它包含两个主要的实验设置，驻留在内和驻留在out。具体来说，我们使用ITS（13990对图像对）和OTS（313950对图像对）来训练模型，并分别在SOTS的室内（500对）和室外（500对图像对）上进行测试。对于Haze4K数据集，我们遵循PMNet [54]的设置。Haze4K包含4000对图像对，其中3000对用于训练，其余1000对用于测试。与居住者相比，Haze4K混合了室内和室外场景的图像，合成管道更加逼真。对于RS-Haze数据集，我们遵循去haze前[47]的设置。它由54,000对图像对组成，其中51,300对用于训练，其余2,700对用于测试。RS-Haze是一个场景较为单调的遥感去雾图像数据集，但其雾霾高度不均匀，与居住者和Haze4K完全相反。所有的模型都使用它们的原始策略进行训练，我们复制了在之前的工作中报告的最佳结果。

4.2. Quantitative Comparison

我们定量地比较了gUNet和基线的性能，结果如表1所示。我们提出的gUNet是一个更好的图像去模糊网络。具体来说，我们提出的小模型（gUNet-S）在最广泛使用的驻留数据集上优于以前的所有方法。在Haze-4K和RS-Haze数据集上，gUNet也以更高的效率实现了与最先进的模型相当的性能。最后，gUnet的所有变体都很好，我们相信这是一种可扩展的方法。对于驻留数据集，gUNet-S在最广泛使用的室内集合上优于PMNet，在室外集合上超过了dehaze-b。对于Haze-4K，由于Haze-4K的样本量较小，训练模型的性能变化很大。我们认为，gUNet-D和PMNet之间的性能差距大部分源于实验的随机性。对于RS-Haze，虽然gUNet-D比前者-b更有效，但前者仍然是最好的方法。我们认为这是因为RSHaze数据集中的图像包含了许多更适合自我注意[37]的重复场景。最后，可以发现gUNet虽然不够快，但它的架构紧凑，计算成本低，这是由于DWConv的内存访问成本是高的[9]。幸运的是，在边缘设备中运行深度网络受计算容量的限制比受内存带宽的限制更大。

4.3. Qualitative Comparison

我们选择了两个具有代表性的驻留数据集样本，以定性地分析每种方法的性能。图3显示了我们的gUNet-D与一些脱雾网络的定性比较。对于室内场景，我们可以发现GCANet、PFDN和FFA-Net都产生文物，而AOD-Net不产生文物，但对墙壁的影响太大，对地面的影响太少。相比之下，gUNet-D不产生伪影，其恢复图像的每个区域的亮度和色调都非常接近地面事实。此外，gUNet还可以更好地区分浅色物体和被雾霾遮蔽的暗色物体，从而产生更令人满意的结果。对于户外场景，gUNet的脱雾效果比所有的比较方法都更接近于一个干净的图像。然而，合成数据集中（驻留和Haze4K）中户外场景样本的干净图像都包含雾霾，所有经过训练的模型都无法去除，说明合成雾霾不够真实。

4.4. Ablation Study

我们认为，消融研究可以更好地揭示模型中的关键设计，因此我们对本文中涉及的所有数据集进行了消融研究， 考虑到每个数据集的特征不同，因此消融研究的结果可能不一致。我们还发现，以往一些工作的绩效提高更多的是 由于训练的随机性。因此，我们多次训练基线，并记录了最好和最差的表现。对于消融研究中的模型，如果它们的性能介于两者之间，那么相应的设计就被认为不是关键设计。

Gating Mechanism.我们通过用门控机制取代传统的非线性激活函数来验证这一改进。可以看出，除了在Haze-4K数据集上外，门控机制的引入带来了一致的性能改进。此外，我们发现ReLU [38]和GELU [19]的性能具有可比性，这与dehaze前者的建议不同，可能是由于网络架构的不同。此外，门控函数的选择似乎并不重要，而且它足以确保其输出是有上界和下界的。我们也试图删除门控功能，但网络的梯度在训练过程中总是爆炸。

Normalization Layer. 我们用 LayerNorm和 InstanceNorm[49]替换 BatchNorm。可以看出，层规范和实例规范比批规范要慢得多，因为它们在推理过程中仍然计算特征映射的平均值和方差。在性能方面，批规范略好于LayerNorm（特别是在驻留在和Haze-4K数据集上）。考虑到其有效性和效率，批处理规范应该是一个更好的方法选择比版面规范和安装规范的gUNet。我们也试图删除归一化层，但它遭受梯度爆炸。

Normalization Batch Size.  如果引入了SyncBN，则标准化批处理大小可以等于小批处理大小。结合GhostBN [20]和SyncBN，我们可以设置该消融研究所需的大部分标准化批大小。图4显示了结果。由于列车测试的不一致性太大，一个小的标准化批大小（例如，1、2或4）的性能很差。当标准化批处理大小大于8时，模型的性能没有显著变化。令人惊讶的是，在Haze-4K上，较大的标准化批处理大小会导致性能下降，这可能是因为Haze-4K数据集比其他几个数据集要小得多。因此，较小的归一化批量大小提供了更多的噪声，以避免过拟合。

Kernel Size of DWConv. ConvNext [31]提出，内核大小过大或过小的DWConv会导致性能下降。对于gUNet，k = 5是一个很好的选择。此外，我们发现较大的数据集更喜欢较大的内核大小。具体来说，重出的样本数比其他数据集大得多，因此大内核不会导致过拟合，但提高了网络的表达能力。相比之下，Haze-4K的样本要少得多，所以设置k = 3提供了一个额外的正则化来抑制过拟合。

Fusion Layer。 如果SK核聚变被更常见的求和或串联融合所取代，gUNet的性能将会急剧下降。我们认为这主要是因为： 1) SK融合对不同阶段的信息进行动态融合，放宽了各阶段之间信息相关性的约束；2) SK Fusion可以提取全局信息，这对估计全球大气光至关重要。虽然在gUNet中SK融合层的开销可以忽略不计，但由于有太多的元素级操作[35]，它会使网络稍微减慢。

Channel Attention Mechanism. 通道注意机制。我们尝试在gConv块的PWConv3之后插入SE模块[22]和ECA模块[51]，就像许多图像恢复网络[1,42,60]所做的那样。令人惊讶的是，更多的渠道注意模块并没有带来令人满意的改善。相反，它们甚至导致居住和Haze-4K的性能显著下降。我们相信SK Fusion的目的是提取全局信息，添加更多的通道注意模块不会带来任何实质性的变化。相反，门控机制可以被认为是一种特殊的注意机制，而在同一残差块中使用两个注意模块会增加不稳定性。

Deeper vs. Wider. 考虑到参数的数量和计算成本，一个更深的网络比一个更宽的网络表现得更好，但代价是速度更慢。然而，一个广泛的网络也有负面影响，因为它生成更大的中间特征图，消耗更多的GPU内存，并且不利于边缘设备的推断。因此，在本文中，我们增加了网络的深度来扩展网络。

Stage Number。我们探讨了不同阶段数对模型性能的影响。可以看出，减少阶段的数量可以降低开销。然而，它降低了性能，其中受影响最大的是参数的数量，因为参数的数量由中间阶段的块贡献最多。然而，如果引入更多的阶段，该模型只与基线进行比较，并在两个数据集上生成NaN。我们认为这是因为更多的阶段引入了更多的参数，导致了网络训练过程中的不稳定，而引入一种更合理的初始化方法有助于克服这一缺点。

Training Stratagies. 因此，这些技术的性能提高幅度很小。我们使用的附加训练技术主要是为了提高模型在训练过程中的稳定性，减少训练费用。这些技术中对模型性能最重要的是SyncBN，这对于不能保证每个gpu批大小足够大的设备是必不可少的。此外，虽然混合精度训练似乎不会影响模型的性能，但它使训练更加不稳定，因为我们在消融研究中发现了一些变体产生NaN。

Training Epochs. 我们发现，之前的工作并没有讨论训练期的数量对网络性能的影响。图5显示了我们的实验结果，每条曲线都是训练期间模型在验证集上的PNSR。可以预期，如果网络没有过度安装，更长时间的训练将带来进一步的网络改进。此外，我们在Haze-4K上观察到过拟合，这应该是由于其样本数较小。我们注意到，由于不同模型的训练方案不同，研究人员倾向于复制在以前的工作中报告的结果，以进行比较。然而，很明显，即使在最常用的驻留数据集上，大多数模型也没有被训练到收敛。我们猜测，之前的一些脱雾模型所获得的性能提高很可能仅仅是因为它们被训练了更长的时间。

5. Conclusion

本文探讨了图像去雾网络的关键设计。除了常用的多尺度结构和残差学习外，注意机制的有效利用是提高绩效的关键。具体来说，本文提出了gUNet，它利用特征融合模块中的信道注意机制来提取全局信息，利用门机制来代替像素注意和非线性激活函数来建模空间变化的传输映射。我们评估了gUNet在四个图像去雾数据集上的性能，结果表明，gUNet与最先进的方法相当，甚至更好，但开销要小得多。更重要的是，我们进行了大规模的消融研究，结果表明，图像去模糊网络的性能增益主要来自于注意机制、非线性激活函数、全局信息的提取、归一化层和训练时期的数量。