【基于多尺度的融合：IVIF】

Infrared and visible image fusion via gradientlet filter

（基于梯度波滤波器的红外与可见光图像融合）

本文从亮度和梯度分离的角度出发，提出了一种基于模糊梯度阈值函数和全局优化的图像滤波器梯度小波滤波器。它可以在保持图像的整体亮度和边缘渐变的同时，去除小的渐变纹理和噪点。基于梯度波滤波和图像显著性，提出了一种新的红外与可见光图像融合方法，克服了传统融合图像存在的对比度低、边缘模糊和噪声等问题。首先，利用梯度波滤波器将源图像分解为近似层和残差层，前者反映了源图像的整体亮度，没有边缘模糊和噪声，后者反映了源图像的小梯度纹理和噪声。其次，根据近似层和残差层的特点，提出了对比度显著图和梯度显著图，并构造了相应的权值矩阵。最后，基于先前获得的子图像和权重矩阵进行融合和重构，得到融合图像。

介绍

提出了一种新的图像滤波器–梯度波滤波器，并在多尺度变换融合的框架下，设计了一种基于梯度波滤波器和图像显著性的融合算法。通常，图像由亮度分布和小梯度变化组成，前者反映图像的对比度和空间结构，后者反映纹理和噪声，即“亮度分布+小梯度变化=图像”。为了保持图像的对比度，我们从分离图像亮度和小梯度的角度设计了一个滤波器。传统的基于局部加权平均的滤波分解由于亮度的离散性不可避免地会导致边缘模糊，因此需要采用全局优化的方法将滤波器设计为边缘保持滤波器。为此，提出了基于模糊梯度阈值函数和全局优化的梯度波滤波器。它用于将源图像分解为近似层和残差层。近似层反映了源图像的整体亮度分布，没有边缘模糊和噪声，并保存了图像的对比度和空间结构信息。残差层反映了源图像的微小梯度变化，并保留了原始图像的纹理信息和噪声。

为了保持图像的对比度信息，避免噪声对融合图像的影响，根据近似层和残差层的不同特点，并考虑噪声的影响，设计融合规则。首先，由于近似层保留了原始图像的对比度信息且无噪声，通过映射近似层的对比度显著性，构造相对平滑的近似层权重矩阵。这些矩阵用于近似层的融合，以便在不引入噪声的情况下保持图像对比度。其次，考虑到残差层噪声相对较强的特点，通过映射源图像的梯度显著性而非残差层的梯度显著性来构造残差层的锐化权值矩阵。利用这些矩阵对残差层进行融合，既保留了图像的纹理信息，又减少了噪声对融合图像的影响。最后，通过重构得到融合图像，该融合图像具有较好的对比度和细节信息，并且边缘模糊和噪声的影响较小。

贡献

1）提出了一种基于模糊梯度阈值函数和全局优化的梯度波滤波器，该滤波器能够在保持图像整体亮度和边缘梯度的同时，有效地去除小梯度纹理和噪声。
2）针对红外与可见光图像融合中存在的对比度低、边缘模糊和噪声等问题，在提出的梯度波滤波器和图像显著性的基础上，提出了一种新的红外与可见光图像融合方法。

相关工作

多尺度变换框架：
如图2所示，多尺度变换融合通常包括三个步骤。首先，将配准后的源图像分解为一系列称为近似层和残差层的子图像。其次，根据近似层和残差层的特点，设计了相应的融合规则，用于不同尺度下的信息融合。最后，对融合后的子图像进行重构，得到最终的融合图像。

随着小波理论的成熟，小波变换也被应用到多尺度分解中。利用小波的信号分解特性，将图像分解为不同频带的子图像，进行多尺度融合。例如，Niu等人提出了基于目标区域分割和离散小波变换的机载红外与VS图像融合方法;该方法使得融合图像能够在保留背景信息的同时获得丰富的目标信息并因此产生用于空中目标感知的上级融合图像。Zou等人提出了一种基于提升小波域的图像融合方法来提高同一场景的VS和IR图像的融合效果。Chai等人提出了一种基于四元数小波变换和多特征的多模态图像融合方法，并将其应用于多聚焦图像、医学图像、IR-VS图像和遥感图像。然而，小波变换不能捕捉图像丰富的方向信息。因此，提出了轮廓波变换来克服该缺点。Meng等人提出了一种IR和VS图像融合算法，该算法将目标区域检测与非下采样轮廓变换（NSCT）相结合以提高融合图像的质量。
随着边缘保持滤波器技术的不断发展，基于边缘保持(edge-preserving)滤波器的融合算法也被提出。由于边缘保持滤波器的优点，基于它们的算法通常产生良好的边缘特征。Li等人提出了一种融合算法（GFF）基于引导滤波器（GIF）该算法保持了图像的空间一致性，适用于多光谱、多聚焦、多模式、多曝光图像的融合。Ma等人提出了一种基于高斯滤波器和滚动制导滤波器（RGF）的方法，该方法有效分离了源图像的尺度，提高了图像的细节信息，有效降低了融合图像的假轮廓。Hu等人提出了一种多尺度方向双边滤波器，并将其应用到多传感器图像融合算法中，使融合后的图像能够有效地保留方向信息和几何结构。

方法

我们的融合策略框架如图3所示。首先，我们提出了一种梯度波滤波器，并用它将源图像