Infrared and visible image fusion using Latent Low-Rank Representation使用潜在低秩表示的红外与可见光融合

Infrared and visible image fusion using Latent Low-Rank Representation

使用潜在低秩表示的红外与可见光融合

作者：Hui Lia , Xiao-Jun Wua,

期刊：JVCIR 2018

摘要

         红外和可见光图像融合是图像融合领域的一个重要问题，已在许多领域得到广泛应用。为了更好地保存源图像中的有用信息，提出一种简单有效的基于潜在低秩表示（LatLRR）的图像融合方法。首先，通过LatLRR将源图像分解为低秩部分（全局结构）和突出部分（局部结构）。然后，通过加权平均策略融合低秩部分，以保留更多轮廓信息。然后，通过求和策略简单地融合突出部分，这是该融合框架中的有效操作。最后，通过结合融合的低秩部分和融合的突出部分来获得融合图像。

前言

        本文引入了一种新的表示学习技术——潜在低秩表示（LatLRR），用于解决稀疏表示（SR）捕获全局结构能力有限的缺陷。

        与低秩表示（LRR）不同 ，LatLRR 可以从源图像中提取全局结构信息和局部结构信息。  

潜在低秩表示理论

        LatLRR问题被简化以解决以下优化问题：

        其中 λ > 0 是平衡系数，|| · ||∗ 表示核范数，它是矩阵的奇异值之和。|| · || 1 是 L1范数。X 表示观测数据矩阵（即：图像），Z 是低秩系数，L 是显著性系数，E 是稀疏噪声部分。上式由不精确的增广拉格朗日乘数 (ALM) 求解。最后获得低秩部分XZ和显着部分LX。

融合方法

LatLRR 分解操作：

       通过 LatLRR 得到的低秩部分和显着部分分别使用不同的加权平均策略融合，最后将融合的低秩部分和显著部分相加重建最终的融合图像。

低秩部分的融合

       源图像的低秩部分包含更多的全局结构信息和亮度信息。因此， 使用加权平均策略来获得融合的低秩部分。

       为保留信息的全局结构和亮度，减少冗余信息，本文选择w1 = 0.5 和w2 = 0.5。

显著部分的融合

       源图像的显着性特征是互补的信息，需要被包含在融合图像中而不丢失。所以使用求和策略来融合显着性部分。

其中s1 = 1，s2 = 1。

图（c）表示同一行和不同列的显着性部分系数值。

重建

结论

       所提出的融合方法获得的融合图像包含更多的显着性特征并保留了更多的细节信息且包含更少的人工信息，对人体的敏感性更加自然，并且具有更好的主观融合性能。

创新点

       提出了一种简单有效的基于潜在低秩表示的红外和可见图像融合方法。 首次将LatLRR 引入图像融合。

文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！

架构代码

%设置图片路径

index = 2;

path1 = ['./source_images/IV_images/IR',num2str(index),'.png'];

path2 = ['./source_images/IV_images/VIS',num2str(index),'.png'];

fuse_path = ['./fused_images/fused',num2str(index),'_latlrr.png'];

%读取图片

image1 = imread(path1);

image2 = imread(path2);

%判断图片是否是灰度图片，不是则转为灰度图片

if size(image1,3)>1

    image1 = rgb2gray(image1);

    image2 = rgb2gray(image2);

end

%将图像转换为双精度

image1 = im2double(image1);

image2 = im2double(image2);

lambda = 0.8;

disp('latlrr');

%使用潜在低秩分解源图片

tic

X1 = image1;

[Z1,L1,E1] = latent_lrr(X1,lambda);

X2 = image2;

[Z2,L2,E2] = latent_lrr(X2,lambda);

toc

disp('latlrr');

%将低秩部分和显著部分的灰度值压缩到0~1之间。

I_lrr1 = X1*Z1;

I_saliency1 = L1*X1;

I_lrr1 = max(I_lrr1,0);

I_lrr1 = min(I_lrr1,1);

I_saliency1 = max(I_saliency1,0);

I_saliency1 = min(I_saliency1,1);

I_e1 = E1;

I_lrr2 = X2*Z2;

I_saliency2 = L2*X2;

I_lrr2 = max(I_lrr2,0);

I_lrr2 = min(I_lrr2,1);

I_saliency2 = max(I_saliency2,0);

I_saliency2 = min(I_saliency2,1);

I_e2 = E2;

% 最终低秩部分为取两图低秩部分的平均值

F_lrr = (I_lrr1+I_lrr2)/2;

% 最终显著部分为两图显著部分之和

F_saliency = I_saliency1 + I_saliency2;

%重构融合图像为低秩部分与显著部分相加

F = F_lrr+F_saliency;

figure;imshow(I_saliency1);

figure;imshow(I_saliency2);

figure;imshow(F);

imwrite(F,fuse_path,'png');

% end