几种常规的图像融合方法及其原理_图像融合算法

目前，根据图像融合的层次，将图像融合算法分为像素级图像融合，特征级图像融合和决策级图像融合。像素级图像融合处理主要是在图像像素层面上操作处理图像数据，属于基础层次的图像融合。优点是可以保持源图像更多的原始数据，比起其他融合层次来说，细节更丰富，目标空间位置相对更精确。但是，融合前需对融合源图像进行严格的点对点的图像校正、降噪和配准等图像预处理，否则会严重影响后续的融合效果。主要包括主成分分析（PCA）、脉冲耦合神经网络法（PCNN）等算法。特征级图像融合属于中间层次融合，该类方法依据已有的关于各传感器的成像特点，有针对性的提取各图像的优势特征信息，例如边缘，纹理等。主要包括模糊聚类、支持向量聚类等算法。决策级融合属于最高层次的融合，与特征级融合相比，它对源图像的处理是在提取出图像的目标特征之后，继续进行特征识别、决策分类等处理，然后联合各个源图像的决策信息进行联合推理，得到推理结果。主要包括支持向量机、神经网络等算法，决策级融合是一种高级的图像融合技术，同时其对数据的质量要求比较高，算法的复杂性极高。

1.1基于常规的图像融合方法

1.1.1 基于最大（Max）/最小值（Min）的图像融合方法

假设两幅待融合的图像 A 和 B，它们大小一致，都为 M×N，则基于像素的灰度值选大图像融合图像 F 可表示为

基于像素的灰度值选小图像融合方法可表示为：

即在融合处理时，比较源图像A（i, j）和B（i, j）中对应位置处像素的灰度值的大小，以其中灰度值大(或小)的像素(可能来自图像A或B)作为融合后图像F(i,j)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大或小的像素作为融合后的像素，该融合方法的适用场合非常有限。

1.1.2 基于像素加权平均(Average)的图像融合方法

像素加权平均法是图像融合中最简单的方法之一，根据两幅图像本身的灰度信息，在相同像素点对两幅图像灰度值分别赋予权值，融合图像的灰度是两幅图像灰度值的加权之和。如果是彩色图像则在三通道上重复上述操作，得到三个通道上的融合灰度。假设两幅待融合的图像 A 和 B，它们大小一致，都为 M×N，则融合图像 F 可表示为

其中为图像A和B的权重，且满足。基于像素加权平均的图像融合方法比较简单，运算速度快，但是在融合过程中只考虑像素点灰度大小，忽略了像素点的位置和其他因素。所以生成的融合图像无法很好保留原有图像细节特征，丢失有用信息，增加了冗余信息。造成视觉效果较差，图像难以辨别。

1.2 基于多尺度的图像融合方法

图像的金字塔[59]表示方法是一种多尺度、多分辨率表示方法，可以将图像的金字塔表示方法想象为一幅图像在不同尺度上的堆叠。图像的金字塔分解可以用来对图像中各种不同尺度的特征进行分析[30]，比如：低分辨率图像可用于分析大尺度的物体，像边缘细节这样的小尺度信息则可以用高分辨率图像来进行分析。根据金字塔的构造原理，可以将基于金字塔变换的方法分为高斯金字塔、拉普拉斯金字塔、对比度金字塔等等【40】，这些变换方法均是以高斯金字塔为基础的，高斯金字塔是一个形似塔型的图像序列，该序列中的每一级图像都是将其前一级图像经过低通滤波之后再经过隔行隔列降采样得到的，所以其单边尺寸是逐层减半的，每一层的面积大小都是前一层的四分之一。其他的金字塔变换就是在高斯金字塔分解结果的基础上做进一步的操作得到的，基于金字塔变换的方法虽然简单，但是变换的