图像融合论文阅读：DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion

一、创新点：

1.第一个用于 IVIF 任务的深度图像分解模型，其中融合和分解都是通过 AE 网络完成的。

2.在三个数据集上测试了模型，包括 TNO、FLIR 和 NIR。总共有 132 张测试图像，包括室内和室外场景、日光和夜间照明。与 SOTA 方法相比，本文的方法可以稳健地创建具有更明亮目标和更丰富细节的融合图像。它可以潜在地用于目标识别和跟踪。

二、知识点与收获：

1.整体流程

编码器和解码器分别负责图像分解和重建。在训练阶段，对于分解阶段，损失函数强制两个源图像的背景和细节特征图相似/不相似。同时，对于重建阶段，损失函数保持源图像和重建图像之间的像素强度以及可见图像的梯度细节。在测试阶段，根据特定的融合策略分别融合测试对的背景特征图和细节特征图，然后通过解码器获取融合图像。

2.网络架构

神经网络由编码器和解码器组成。如图 1 所示，编码器接收红外或可见图像，并生成背景和细节特征图。然后，网络沿着通道连接两种特征图。最后，连接的特征图通过解码器恢复原始图像。为了防止多次卷积后特征图的细节信息丢失并加快收敛速度​​，将第一个和第二个卷积的特征图添加到最后一个和倒数第二个卷积的输入中，添加策略是将沿通道的相应特征图。因此，源图像的像素强度和梯度信息可以更好地保留在重建图像中。

3.网络配置

表 1 列出了网络配置。编码器和解码器分别包含四个和三个卷积层。每层由填充、3×3 卷积、批量归一化和激活函数组成。第一层和最后一层利用反射填充来防止融合图像边缘出现伪影。 conv3 和 conv4 的激活函数设置为双曲正切函数 (tanh)，因为它们输出背景和细节特征图。至于 conv7，它是由 sigmoid 函数激活的，因为它重建原始图像。其他层后面是参数修正线性单元 (PReLU)。

4.损失函数

在训练阶段，目标是获得一个对源图像进行两尺度分解（二尺度分解将输入图像分解为包含具有大尺度像素强度变化的低频信息的背景图像和体现具有小尺度像素强度变化的高频信息的细节图像。）的编码器，同时获得一个能够融合图像并很好地保留源图像信息的解码器。训练过程如图(a)所示。

4.1图像分解

背景特征图用于提取源图像的​​共同特征，而细节特征图用于捕获红外和可见光图像的独特特征。因此，应该使背景特征图的间隙变小。相比之下，细节特征图的差距应该很大。为此，图像分解的损失函数定义如下：

其中 BV , DV 是可见光图像 V 的背景和细节特征图，BI , DI 是红外图像 I 的背景和细节特征图。 Φ (·) 是 tanh 函数，用于将间隙限制为区间 (−1, 1) 。

4.2图像重建

对于图像重建，为了成功保留输入图像的像素强度和详细纹理信息，重建损失函数为：

其中I和I(^)、V和V(^)分别表示红外图像和可见图像的输入图像和重建图像。 ∇ 表示梯度算子，并且：

其中X和X(^)表示上述输入图像和重建图像，λ是超参数。SSIM即结构相似度指数，是衡量两张图片之间相似程度的指标。那么LSSIM可以描述为:

L2-norm 测量原始图像和重建图像之间的像素强度一致性，LSSIM 计算亮度、对比度和结构方面的图像差异。特别地，由于可见图像具有丰富的纹理，因此通过梯度稀疏惩罚对可见图像的重建进行正则化以保证纹理一致性。结合方程。 (1)和(2)中，总损失Ltotal可表示为:

其中 α1、α2、α3、α4 是调整参数。

5.融合策略

训练后，将获得一个分解器（或者说编码器）和一个解码器。在测试阶段，目标是融合红外和可见光图像。工作流程如图(b)所示。

与训练不同，测试阶段插入了一个融合层。它分别融合背景和细节特征图。在公式中，有：

其中 BF 和 DF 分别表示融合的背景和细节特征图。

考虑以下三种融合策略：

其中符号⊕表示按元素相加。

其中 γ1 + γ2 = γ3 + γ4 = 1，γi(i = 1, · · ·, 4) 的默认设置均等于0.5。

其中 ψ(·) 是 3 × 3 框模糊（也称为均值滤波器算子）。因此:

其中 ⊗ 表示逐元素乘法。

三、思考

1.DIDFuse通过巧妙设计的损失函数成功地将源图像的背景和细节特征分开，使背景特征在两个源图像间相似，而细节特征则体现出差异性，从而有效融合来自红外和可见光图像的不同信息。

2.DIDFuse生成的融合图像具有明亮的目标、清晰的边缘轮廓和丰富的纹理细节，确保了良好的可重复性和目标识别跟踪性能。

3.虽然DIDFuse在特定的数据集和应用场景下表现优秀，但其在面对光照条件更为复杂或非典型场景下的泛化能力和适应性还有待进一步验证。

4.文中提到的超参数设置是经验性的，这意味着在其他环境或数据集上可能需要重新调整优化参数以获得最佳性能。

5.尽管DIDFuse提升了细节信息的质量和边界锐化程度，但如何进一步优化细节保留，特别是在极弱光线或者非常模糊的条件下，可能是后续研究的一个重要方向。