赞
踩
(遥感和地球观测的全色和多光谱图像融合:概念、分类、文献审查、评价方法和今后的挑战-----2023)
全色和多光谱图像融合(Panchromatic and multi-spectral image fusion,Pan sharping)是将源图像的空间和光谱信息融合成一幅融合图像,该融合图像具有比任何源图像更高的空间和光谱分辨率,对下游任务更可靠。它已广泛应用于各种应用的图像解释和预处理。为了通过考虑全色和多光谱图像之间的空间和光谱关系来获得更好的融合结果,已经提出了大量的方法。近年来,人工智能(AI)和深度学习(DL)的快速发展显著促进了全色锐化技术的发展。然而,该领域缺乏对AI和DL兴起所推动的最新进展的全面概述。本文提供了对采用四种不同范例的各种全色锐化方法的全面综述,即:组件替换、多分辨率分析、退化模型和深度神经网络。作为全色锐化的一个重要方面,本文还概述了融合图像的评价,从降分辨率和全分辨率两个方面给出了各种评价方法。然后,我们通过讨论全色锐化技术、数据集和质量评估的现有局限性、困难和挑战来结束本文。此外,调查总结了这些领域的发展趋势,为研究人员和专业人员提供了有用的方法论实践。最后,在结论部分总结了全色锐化的发展。调查的目的是作为新来者的参考起点,并围绕这一令人兴奋的领域应遵循的研究方向达成共识。
随着遥感技术的飞速发展,越来越多的卫星发射升空,各种成像传感器采集了大量的遥感图像。这些遥感图像以不同的观测方式记录了地球的信息,为观测景象的解译提供了丰富的数据。迄今为止,这些图像已广泛应用于资源勘探、环境调查、战场侦察等诸多领域,并取得了巨大成功。
空间分辨率和光谱分辨率作为遥感图像的两个重要属性,对观测场景的解译精度有着重要影响。虽然遥感图像的空间分辨率和光谱分辨率不断提高,但这些图像不能同时获得高的空间分辨率和光谱分辨率。这是由成像传感器的空间分辨率和光谱分辨率之间的固有折衷引起的。
在成像系统中,可以通过增加带的数目和减小带的宽度来提高光谱分辨率。但当入射光能量一定时,窄带接收到的能量会减少,从而导致遥感图像的信噪比下降。在这种情况下,为了满足特定的信噪比,一种选择是改进光感测单元的尺寸。结果,这些图像的空间分辨率将降低。另一方面,空间分辨率主要取决于成像传感器上感光单元的密度。通过减小感光单元的尺寸,可以提高空间分辨率。然而,感光单元的高密度意味着成像传感器的制造成本和难度的提高。
在固有的约束下,全色图像可以提供高的空间分辨率。但它只由一个波段组成。多光谱(MS)图像具有多个光谱波段,包含丰富的光谱信息。MS图像的空间细节不如PAN图像。图1显示了来自不同卫星的一些MS和PAN图像对。
我们可以发现PAN图像比MS图像更清晰。但前者是灰度图像。此外,表1列出了一些光学卫星的空间和光谱分辨率,这些卫星可以同时捕获PAN和MS图像。在表1中,空间分辨率以米为单位。可以看出,MS图像的光谱分辨率高于PAN图像的光谱分辨率。相反,PAN图像在空间分辨率方面上级MS图像。PAN和MS图像分别显示了观测场景的空间和光谱特性。
显然,下游任务,例如目标检测和分类,不能仅仅通过使用PAN或MS图像来有效地实现。因为缺乏高的空间或光谱分辨率限制了所观察场景的解释精度。为了实现下游任务所需的精度,对具有高空间和光谱分辨率的遥感图像的需求日益增加。因此,提高遥感图像的空间分辨率和光谱分辨率对提高对地观测精度至关重要。
为此,人们采用图像融合的方法,将不同类型图像中的互补信息进行融合,以更全面地描述观测场景。2006年,IEEE地球科学与遥感学会(GRSS)开始组织数据融合竞赛,以推动该领域的发展。截至目前,数据融合大赛已成功举办17届。在GRSS中有许多不同的融合任务来利用多源、多模态遥感数据。例如,合成孔径雷达与光学遥感图像融合探索观测场景的物理属性和表面特征,在目标识别方面显示出巨大潜力。对于高光谱图像与光探测测距融合,将光谱特征与距离信息相结合,有效提高语义分割的准确性。与高光谱图像相比,光探测和测距具有强烈的非均匀性,因此需要考虑精细的组合方案。多时相融合利用多传感器图像的时间序列,通过引入时间变量将MS或超光谱图像从3D立方体扩展到4D数据。它能够捕获短时间或长时间序列中的变化信息。在时空融合任务中,通过将低空间分辨率但高时间分辨率的影像与高空间分辨率但低时间分辨率的影像进行融合,可以生成高空间和时间分辨率的影像,从而可以提供区域变化的连续监测。近年来,为了获得高空间分辨率的高光谱影像,MS/PAN与高光谱影像的融合引起了人们的广泛关注,丰富了高光谱影像中的空间信息。通过上述模型,融合后的图像比单个传感器获取的图像能更全面地反映观测场景的丰富属性。
在这些整合不同图像互补信息的任务中,我们特别关注PAN和MS图像的融合,也称为全色锐化。通常,如图2所示,图像融合可以分为四个层次:传感器/像素级、特征级、置信度级和决策级。
传感器/像元级融合直接融合低空间分辨率多光谱图像(LR MS)和PAN图像中的原始像元信息,旨在生成具有高空间和光谱分辨率的融合图像。传感器级/像素级融合也可以看作是LRMS和PAN图像的一种预处理方法,它可以提高图像的分辨率,更准确地描述观测场景。在特征级融合中,提取LR MS和PAN图像中物体的特征。然后,将这些特征组合起来用于对观察到的场景中的对象进行分类或检测。对于置信度融合,融合了置信度评分而不是LR MS和PAN图像的决策结果。然后,从融合后的置信度得到最终的决策结果。决策级融合将来自LR MS和PAN图像的决策结果(如对象的标签或位置)组合起来以产生最终决策,其中采用投票、统计和模糊逻辑方案来融合这些结果。近年来,由于人工智能的发展,传感器/像素级图像融合得到了很大的发展。近年来,MS和PAN图像的传感器/像素级融合技术有了新的发展和趋势。因此,本文主要研究传感器/像素级融合技术,将PAN图像中精细的空间细节和MS图像中丰富的光谱信息融合在一起。在全色锐化之后,最终生成高空间分辨率(HR)MS图像。
全色锐化的概念和益处在图3中示出。
融合后的高分辨质谱图像具有较高的空间分辨率和光谱分辨率,有助于对观测场景进行有效的解译。例如,Rayegani等人将融合后的图像应用于自然生态系统的变化检测,设计了空间和光谱两个指标来选择合适的融合方法。Lottering等人使用WorldView-2全色锐化图像中的丰富纹理信息。该方法利用人工神经网络对融合图像进行植被落叶推断。Qu等人使用融合图像进行异常检测,结果表明这些图像提高了准确度。具体而言,LR MS图像的原始检测率为0.3,通过使用融合图像将检测率提高到0.9。Du等人比较了LR MS图像和融合图像之间的变化检测性能。实验结果表明,对融合图像进行变化检测后,Kappa系数提高了0.2,总体准确率提高了10%。
在过去的几十年里,许多全色锐化方法被提出,它们都能产生令人满意的结果和令人印象深刻的性能。通常,这些全色锐化方法可以被分类为四类:组件替换(CS)方法、多分辨率分析(MRA)方法、基于退化模型(DM)的方法和基于深度神经网络(DNN)的方法。近年来,离散神经网络的兴起为融合图像质量的提高带来了新的机遇,基于离散神经网络的全色锐化方法已经产生了最先进的融合结果。
基于DNN的全色锐化方法的成功得益于其强大的学习能力和大量的训练数据集。然而,对于全色锐化任务,必须根据Wald协议精心准备训练数据集。由于DNN是在人工降低分辨率的数据上训练的,它们在全分辨率数据上不能达到预期的效果。源图像和融合图像之间的映射是如此复杂,以至于在降低分辨率数据上学习的DNNs不能推广到全分辨率数据。除此之外,降分辨率训练数据的稀缺性和复杂构造促使一些DNNs利用全分辨率数据进行训练。
现有的综述主要对基于CS和多分辨率分析的全色锐化方法进行了详细的总结,而忽略了其他两个领域的研究进展,如基于数据挖掘和动态神经网络的融合方法。例如Thomas等人从遥感物理学的角度对基于CS和MRA的方法进行了综述。Vivone等人对来自不同卫星的数据集的不同基于CS和MRA的方法进行了关键和广泛的比较,这促进了许多可用全色锐化代码的标准化实施。Vivone等人在之前的基础上进一步对全色锐化进行了概述。除了对全色锐化的回顾外,Meng等人还向社区发布了一个大规模数据集,提高了HR遥感图像的可用性。然而,这些调查大多没有涉及基于DM和DNN的方法的分类,也没有对泛锐化方法的公式进行深入分析。
此外,本文还对融合图像的评价方法进行了总结,以更全面地反映这一领域。目前,在视觉上区分不同的基于DNN的全色锐化方法的融合图像变得越来越困难。一方面,作为全色锐化任务的一个重要组成部分,融合图像的评价为DNNs的选择提供了依据。近年来,人们提出了一些新的评价指标和工具来计算融合图像与参考图像之间的相似度,或者在无参考的情况下评价融合图像的空间和光谱特征。缩小评价指标与视觉表现之间差距。遗憾的是,在上述综述中没有讨论评价指标的分析。另一方面,融合图像的质量应该在下游任务中进一步评估,因为全色锐化仅仅是解释观察到的场景中的预处理步骤。因此,比较同一任务对不同全色锐化方法生成的融合图像的判读性能将更有意义。我们坚信,只有面向任务的融合图像性能评估才能促进全色锐化方法的实用化进程。
在这篇文章中,我们分析了大约220篇关于全色锐化的论文,并为科学读者提供了最先进的全色锐化方法,特别是基于DM和DNN的方法的全面综述。同时,本文的目的是为融合图像的质量评价提供有价值的见解。最后,针对资料集、评估和未来趋势进行了专门讨论,以通过了解该领域的局限性、困难和挑战来支持相关研究人员。
为方便起见,表2列出了符号及其相应的描述,其中标量用小写斜体表示,向量用粗体小写字母表示,矩阵用粗体大写字母表示。在基于DM的方法中,通常通过图像分割和矢量化或其他预处理方法将源图像和融合图像重新排列成矩阵,以匹配空间和光谱退化模型。对于以下部分中使用的其他首字母缩写词和符号,将根据需要定义。
考虑到所有的评论论文,我们把全色锐化方法分为一个层次的类。图4展示了为全色锐化提出的方法的层次分类。在层次结构中,这些方法通常可分为四类:基于CS的方法、基于MRA的方法、基于DM的方法和基于DNN的方法。
对于基于CS的方法,假设MS图像中的空间和光谱信息是可分离的,使得上采样的LR MS图像中的空间分量可以直接由相应的PAN图像代替。该方法首先将上采样后的LRMS图像通过适当的变换投影到一个新的空间,产生一个空间分量。然后,用直方图匹配的PAN图像完全或部分地替代空间分量。最后,通过相应的逆变换生成融合的HR MS图像。在该类别中,存在一些经典和常见的变换,例如强度色调饱和度(IHS)变换、主成分分析(PCA)和Gram-Schmidt(GS)变换。
对于基于MRA的方法,假设LR MS图像中缺失的空间细节可以从PAN图像推断。然后,采用一些有效的工具,如MRA,从PAN图像中提取空间细节,也称为高频。然后,通过一定的融合规则将这些细节信息注入到LRMS图像中。各种MRA工具为研究人员提供了不同的选择,以专门对PAN和LR MS图像中的空间信息进行建模。基于MRA的成功,一些类似MRA的方法被开发用于全色锐化,包括支持值变换、支持张量变换和形态滤波器。
在基于退化模型中,LR MS和PAN图像分别被认为是HR MS图像在空间域和光谱域的退化结果。然后,将全色锐化任务视为图像恢复问题。自然地,融合图像通过求解从空间和光谱退化模型导出的逆问题来估计。由于退化模型的病态性,利用源图像或高分辨率质谱图像中存在的先验知识对解空间进行正则化。绝大多数基于DM的全色锐化方法利用不同形式的稀疏性来生成融合结果。此外,由于梯度先验和低秩先验在低级计算机视觉任务(例如图像超分辨率和去噪)中的成功,因此在全色锐化任务中也考虑它们。
最近,由于非线性学习的强大能力,基于DNN的全色锐化方法得到了普及。利用计算机视觉任务中的成功经验,采用了大量的DNN,并以监督方式进行训练以进行全色锐化。一方面,监督学习使得基于DNN的方法优于上述三种方法。另一方面,出色的性能得益于海量数据和更强大的计算能力。随着生成对抗网络和transformer等多种DNN的涌现,人们对提高融合性能、满足真实的场景中的高灵活性和可行性产生了浓厚的兴趣。然而,由于网络类型呈指数增长,因此难以根据其网络类型对基于DNN的方法进行分类。然而,由于网络类型呈指数增长,因此难以根据其网络类型对基于DNN的方法进行分类。与大多数低层次任务相比,全色锐化最显著的区别因素是其双源输入。考虑到LR MS和PAN图像中的双源信息组合的阶段和模式,基于DNN的全色锐化方法可以被分组为三个子类:源图像拼接(SIC)、特征拼接(FC)和特征融合(FF)。
为了避免过度划分,每种全色锐化方法都根据其与其余对应方法不同的特征进行分类。通过这种方式,将防止混乱的分类,并且图4中描述的分类变得更有意义和信息更丰富。
在这一部分,我们详细介绍了基于CS的全色锐化方法。技术的关键在于从LR MS图像中精确地估计空间分量。然而,由于LRMS图像中空间和光谱信息的高度不可分离性,很难合成与相应PAN图像匹配良好的空间分量。此外,LR MS和PAN图像之间在光谱范围方面的不匹配不能被忽略。图5显示了来自不同卫星的MS和PAN图像的光谱响应范围。
可以看出,MS图像的光谱范围不能精确地覆盖PAN图像的光谱范围,这将不可避免地将光谱失真引入到融合图像中。因此,光谱响应范围和空间分量的合成问题是基于CS方法减小光谱失真的关键。
与其他方法相比,基于CS的方法在增强融合图像的空间细节方面表现良好。它们的特点是操作简单,易于实施。虽然这些方法与其他类型的方法(如基于DM和基于DNN的方法)相比并不具有竞争力,但它们的简单性和有效性仍然使它们值得进一步研究并对研究人员具有吸引力。
在数学上,Vivone等人总结了基于CS的全色锐化方法,并且通常可以写为:
其中,~声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。