《Infrared and Visible Image Fusion using a Deep Learning Framework》阅读笔记

《Infrared and Visible Image Fusion using a Deep Learning Framework》阅读笔记

一、概述

这篇文章发表于2018年，主要是研究视觉图像与红外图像的融合，作者之后还发表了DenseFuse。
这篇文章的主要思路是将待融合的红外图像与视觉图像分解为基础部分与高频部分，之后分别对这两部分分别采取不同的策略进行融合得到融合基础部分与融合高频部分，最后利用这两部分重建融合图像。
这种将图像分解为两种不同尺度部分的方法我认为主要是为了解决待融合图像大尺度信息相差较大的图像融合任务，例如：红外图像与视觉图像、强关照图像与弱光照图像等。

二、方法思路

1、图像分解

首先要解决的任务是将图像分解为基础部分与高频部分，可以这样理解：基础部分蕴含了图像所要表达的基本语义信息，而细节部分蕴含了图像所要表达的细节信息。这两部分加起来就是原图的所有信息，如下表达式：

其中Idk为第k张待融合图像的细节部分，Ibk为第k张代融合图像的基础部分。因此我们只要获得Ibk或Idk其中一个便能直接得到另外一个。
作者将获取图像基础部分（Ibk）看作以下优化问题：