图像融合方法

一、基于神经网络的图像融合方法

DenseFuse: A Fusion Approach to Infrared and Visible Images（有代码）
（1）方法概述：一种新的基于深度学习的红外图像和可见图像融合的方法。与传统的卷积网络相比，编码网络与卷积层，融合层和密集块相结合，其中每一层的输出彼此相连。作者尝试在编码过程中从源图像中获取更多有用的feature，并设计了两个融合层（融合策略）以融合feature。 最后，通过解码器重建融合图像。编码器包含两个部分（C1和DenseBlock），用于提取深度特征。第一层（C1）包含3×3卷积以提取粗糙特征，而DenseBlock包含三个卷积层（每个层的输出级联为随后的层的输入），其中也包含3×3卷积。编码器的体系结构具有两个优点：首先，滤波器的大小和卷积运算的步幅分别为3×3和1，使用此策略，输入图像可以是任何大小；其次，DenseBlock可以在编码网络中尽可能保留深度特征，并且该操作可以确保融合策略中使用所有显著特征。解码器包含四个卷积层（3×3卷积），融合层的输出将是解码器的输入。使用这种简单有效的架构来重构最终融合的图像。

（2）应用场景：不仅可以进行红外图像和灰度可见图像的融合，同时可以应用于红外图像和RGB可见图像的融合。

（3）优点：（1）输入图像的大小任意；（2）DenseBlock可以在编码网络中尽可能保留深度特征，并且该操作可以确保融合策略中使用所有显著特征；（3）与现有融合方法相比，该融合方法在客观和主观评估方面均达到了较高的水平。（评价指标：熵(En)；Qaabf；差异相关性之和(SCD)；FMIw​和FMIdct，分别计算小波特征和离散余弦特征的互信息(FMI)；修改无参考图像的结构相似度(SSIMa ​)； 以及新的无参考图像融合性能指标(MS_SSIM)。缺点：（1）图像输入之前需要配准对齐。

FusionGAN: A generative adversarial network for infrared and visible image fusion（有代码）

（1）方法概述：采用生成对抗网络将热红外图像和可见图像进行融合。该方法建立了一个生成器和鉴别器之间的对抗性博弈过程，其中生成器的目标是生成具有主要红外强度和附加可见梯度的融合图像，鉴别器的目标是使融合的图像在可见图像中有更多的细节。这使得最终的融合图像同时保持红外图像中的热辐射和可见图像中的纹理。

（2）应用场景：（1）其中包含不同军事相关场景的多光谱夜间图像；（2）另外从不同天气条件下拍摄的不同场景的可见和热红外视频，捕获对应的可见和热红外图像（INO database）（Trees和Runner的视频中每隔18帧选择31个可见光和红外图像）。

（3）优点：（1）一种端到端的模型，避免了融合规则手工设计的复杂性；（2）该方法可应用于融合不同分辨率的源图像，如低分辨率红外图像和高分辨率可见光图像融合可以得到高分辨率的结果图像并不受红外图像上采样过程中的噪声影响；（3）较好的保留一些目标信息（例如建筑、人、车），较好的保留目标图像的热红外辐射分布，例如可以保留人体区域的像素强度。缺点：（1）将融合后的图像训练成只与其中一幅源图像相似，导致另一幅源图像中包含的部分信息丢失；（2）在场景（1）中该方法评价指标CC（融合图像和源图像的线性相关程度）不如FPDE和ASR方法，VIF（融合图像的信息保真度）不如GFF；在场景（2）中在评价指标SF（图像梯度分布）表现不如LPP方法。

DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion

（1）方法概述：双鉴别器的对抗生成网络。

（2）应用场景：（1）不同或相同分辨率可见图像和热红外图像融合；（2）PET（正电子发射型计算机断层显像）和MRI（磁共振成像）图像融合。

（3）优点：可以融合多分辨率图像而不引起热辐射信息模糊和可见纹理细节的丢失。缺点：实验平均运行效率不如DenseFuse和FusionGAN方法。

VIF-Net: An Unsupervised Framework for Infrared and Visible Image Fusion（2020）
（1）方法概述：一种自适应的端到端深度融合框架VIF-Net。利用可见光和红外帧构造足够的基准训练数据集，为了解决标签数据集缺乏的问题，该方法通过混合损失函数设计一套无监督的学习过程，自适应地融合热红外图像和可见图像并抑制噪声干扰。

（2）应用场景：不仅可应用于图像融合，适用于实时视频融合。训练：采集 25对可见和红外图像，这些图像覆盖了来自TNO图像数据集的不同场景以及公开可用的INO视频数据集，并裁剪扩增为大量无标签数据集。测试：不同大小不同场景的灰度图像。

（3）优点：（1）不需要手工设计融合规则，降低计算成本；（2）自适应地进行图像融合并且抑制噪声干扰；（3）该方法在保留显著特征和纹理细节方面具有很高的能力 没有明显的伪影和扭曲。（4）应用于实时视频融合的运行效率高，平均运行时间为0.38s。（5）VIF-Net在融合移动红外目标和避免失真方面具有相当大的优势。

Infrared and Visible Image Fusion using a Deep Learning Framework（2018有代码）

（1）方法概述：将源图像分解为基本部分和细节部分，然后用加权平均法将基础部分融合。对于细节部分内容，采用深度学习网络（VGG-19）提取多层特征，利用这些特征，我们使用L1范数和加权平均策略来生成多个候选融合细节内容，使用最大选择策略来得到最终融合的细节内容。最后，将融合后的基础部分与细节内容相结合，重建融合后的图像。

（2）应用场景：灰度可见和热红外图像融合；可应用于医疗图像融合；多曝光图像融合；多聚焦图像融合。

（3）优点：（1）对比CBF、JSR、JSRSD、WLS、 ConvSR方法，该方法的离散余弦特征（FMIdct）和小波特征（FMIw ）的互信息和结构保持性（SSIMa）较高；（2）融合过程中加入到融合图像中的噪声或伪影的速率（Nabf）较低。

SiamFT: An RGB-infrared Fusion Tracking Method via Fully Convolutional Siamese Networks
（1）方法概述：完全卷积的孪生网络的融合跟踪方法。SIamFT使用了双重的孪生网络，可见光网络和红外网络。 它们分别用于处理可见图像和红外图像。backbone使用的是SiamFC网络，可见光部分的网络权值共享，红外部分网络权值共享。

（2）应用场景：并应用于视频目标跟踪领域，（目标遮挡、快速运动目标），利用可见（RGB）和红外图像进行数据融合，

（3）优点：（1）运行速度约为28-32FPS，因此可以满足实时性要求；（2）success rate (SR)即预测的边界框和groundtruth之间的重叠，较其他先进视频融合（包括可见视频和RGB-红外融合视频）追踪方法具备最好的整体性能。精度即预测边界框和groundtruth中心位置的误差整体新性能优于其他方法（ECO、C-COT、 CN、JSR（融合）、CSK、 CT、 L1（融合）、MIL、RPT、STC、 STRUCK、TLD 、LGMG（融合））。缺点：（1）目标检测精度不如SGT（RGB-红外视频融合）方法；（2）热红外网络训练采用的是可见图，可以考虑使用热红外图效果会更好。

RTFNet: RGB-Thermal Fusion Network for Semantic Segmentation of Urban Scenes
（1）方法概述:  RTFNet由三个模块组成：分别用于从RGB和热图像中提取特征的RGB编码器和红外编码器；用于恢复特征图分辨率的解码器。编码器和解码器区域对称设计。在RTFNet的末尾使用softmax层来获取语义分割结果的概率图。

（2）应用场景：自动驾驶车辆城市场景的语义分割（当黑夜或者对面行驶开远光灯的车辆，仅仅使用可见图像容易造成误判）（采用公开城市场景的数据集采集于InfReC R500相机，该相机可一体化采集RGB和热红外图像）

（3）优点：（1）RTFNet-50在GTX1080 Ti运行具备实时性；（2）语义分割中评价指标mAcc和mIoU比仅使用可见图像或仅使用热红外图像的值要高缺点：场景分割边缘不够尖锐。

二、基于稀疏表示的图像融合方法

基于非负稀疏表示模型的可见进和热红外图像融合（Fusion method for infrared and visible images by using non-negative sparse representation ）
（1）方法概述：NNSP融合方法，利用非负稀疏表示提取源图像的特征，根据非负稀疏表示系数的活动层次和稀疏层次描述非负稀疏表示系数的特征，开发描述红外图像中的目标特征和轮廓特征以及可见光图像中的纹理特征。

（2）应用场景：可应用于无噪声或有噪声的图像，实验采用的灰度可见图像和热红外图像。

（3）优点：（1）可根据不同的特征利用不同的规则进行融合；（2）对受到加性噪声的影响的同时进行有效的去噪并融合。缺点：CPU平均运行时间较长，实验平均时间为196.57 s。

基于目标提取和稀疏表示的融合方法
（1）方法概述：一种基于目标分离和稀疏表示的图像融合算法，采用核密度估计聚类算法实现精确定位 红外目标边界。，通过背景区域的稀疏表示来抑制噪声干扰。

（2）应用场景：应用于目标提取，当实验对象和背景光照条件发生变化时，本文方法的视觉效果优于其他算法。（灰度）

（3）优点：（1）有效消除红外目标检测的假轮廓，抑制噪声；（2）该方法的融合图像不仅包含清晰的红外目标轮廓，而且具有丰富的细节信息。

LatentLRR用于图像融合（Infrared and visible image fusion using Latent Low-Rank Representation）https://github.com/hli1221/imagefusion Infrared visible latlrr（开源）
（1）方法概述：首先，将源图像分解为低秩部分(全局结构)和显着性部分（局部结构），采用加权平均策略对低秩信息进行融合，以保留更多的轮廓信息。然后，利用求和策略对显著性部分进行融合，最后得到融合后的图像。

（2）应用场景： 实验采用的灰度图像进行评价

（3）优点：（1）相对于LRR方法，能够捕获整体和局部结构信息；（2）融合性能那个比传统经典的方法更加优越。

三、基于多尺度变化的图像融合方法

基于金字塔的图像融合
（1）优点：金字塔变换可以将图像分解为不同分辨率的子带系数，有利于对图像特征的提取；缺点：高频细节信息丢失严重，逆变换过程中容易出现丢失信息的情况；与小波变换相比缺少方向信息；现已很少应用于图像融合

基于小波变换的图像融合
（1）优点：（1）包括水平、垂直和对角三个方向的高频信息；（2）波变换能够较好地捕捉信号的点奇异性；缺点：无法较好地表达二维信息里的曲线奇异性。

非下采样轮廓变换（NSCT）
（1）优点：（1）对高维信息有着更为稀疏的表达；（2）具有的平移不变性保证图像分解的过程中不易丢失重要信息，在图像重构的过程中不会引入虚假信息；缺点：算法时间复杂度较高。