机器学习（36）

摘要

本周阅读了一篇关于多块和特征融合的图像去雾网络的论文。基于深度学习的去雾方法在图像去雾领域取得了显着进展，但大多数方法仍然存在去雾不完全和颜色失真的问题。为了解决这个问题，提出了一种基于多块和特征融合的图像去雾网络。该网络由预处理、特征提取、特征融合和后处理模块组成。预处理模块可以自适应地从补丁中提取图像特征信息。特征提取模块使用级联密集残差块来提取深层特征信息。特征融合模块对特征图进行通道加权和像素加权，实现主要特征的融合。后处理模块对融合后的特征图进行非线性映射，得到去雾图像。

Abstract:

This week I read a paper on image dehazing network with multi-block and feature fusion. Dehazing methods based on deep learning have made significant progress in the field of image dehazing, but most methods still have the problems of incomplete dehazing and color distortion. In order to solve this problem, an image dehazing network based on multi-block and feature fusion is proposed. The network consists of preprocessing, feature extraction, feature fusion and post-processing modules. The preprocessing module can adaptively extract image feature information from the patch. The feature extraction module uses cascaded dense residual blocks to extract deep feature information. The feature fusion module performs channel weighting and pixel weighting on the feature map to achieve the fusion of the main features. The post-processing module performs nonlinear mapping on the fused feature map to obtain the defogged image.

一、论文

论文思想

这篇论文提出了本一种基于多块和特征融合机制的端到端去雾网络，考虑了多尺度特征的融合。首先，将输入的模糊图像分为几个不同大小的patch，并使用级联的密集残差块作为特征提取网络，使得小patch专注于提取局部特征，大patch专注于提取全局特征。特征融合模块对特征进行通道加权和像素加权，实现主要特征的融合。最后，对融合后的特征进行非线性映射以获得无雾图像。

网络架构

去雾网络的总体框架如下图所示。所提出的网络是多层架构，每个级别适合不同的数量补丁。如图所示，从上到下使用的patch数量为1、2、4。顶层仅使用1个patch，即整个有雾图像。在下一层中，图像在垂直方向上被分成2个patch，在底层，上一层的patch在水平方向上进一步被划分成4个patch。

假设输入有雾图像为$I^H$，第 i 层的第 j 个 patch 表示为$I_i^H$ 。在第二层中，$I^H$垂直分为 $I_{2,1}^H$和 $I_{2,2}^H$。第三级中， $I_{2,1}^H$和$I_{2,2}^H$ 又分为$I_{3,1}^H$ 、$I_{3,2}^H$ 、 $I_{3,3}^H$和 $I_{3,4}^H$。预处理模块和多个密集残差块表示为 $Pr{e}_i$和$G_i$ 。

将不同层次生成的特征图进行堆叠，送入特征融合模块，然后通过后处理模块重建清晰的图像$\hat{I}$。

基本块结构

网络输入通过预处理模块只能得到浅层特征信息。这篇论文采用级联密集残差块来设计特征提取网络。残差连接不仅充分利用了不同尺度提取的特征，而且可以防止训练过程中出现梯度消失、梯度爆炸等问题。密集残差块如图所示。密集残差块由 5 个卷积层组成。

特征融合模块

大多数图像去雾网络对通道方向和像素方向的特征一视同仁，无法正确处理非均匀图像。特征融合模块如图所示，包括通道注意力和像素注意力两部分，可以为每个通道方向和像素方向特征生成不同的权重。

Loss Function

损失函数$L_1$可以定义为：

其中 $N$表示输入到网络的有雾图像的数量，$\hat{I}$ 是网络输出的无雾图像，$I_{gt}$ 表示输入有雾图像对应的清晰图像。
感知损失函数可以定义为：

式中，$\Phi (\hat{I}),\Phi (I_{gt})$表示重建图像和真实世界图像通过VGG16网络生成的三个特征图。所提出网络的总损失函数定义为：

其中λ是调整两个损失函数权重的参数。本篇论文取λ=0.04

结论

由500张室外和500张室内有雾图像组成的合成目标测试集（SOTS）实验。测试集（SOTS）上每种算法的PSNR和SSIM如表所示。从表可以看出，所提出的网络获得的PSNR和SSIM优于大多数算法。各算法的参数量以及SOTS数据集上的PSNR如图所示。所提出的网络参数量仅为FFA-Net的三分之一，但SOTS测试集上的PSNR几乎等于FFA-Net。