【遥感综述】_合成多源遥感数据集之后

遥感综述小集合

Image fusion meets deep learning: A survey and perspective（张浩，马佳义）

Sharpening fusion

多光谱图像锐化和高光谱图像锐化是两种典型的锐化融合任务。

Multi-spectral sharpening多光谱锐化

多光谱锐化是将低空间分辨率的多光谱图像（LRMS）与全色图像（PAN）融合生成高空间分辨率的多光谱图像（HRMS）。多光谱锐化对信息保真度的要求更高(即光谱、结构)。锐化的深度学习方法主要有CNN和GAN方法，根据学习方式分为有监督模型和无监督模型。具体而言，监督方法遵循Wald协议对原始MS和PAN图像执行空间退化操作，以获得LRMS和LRPAN图像，例如低通滤波、下采样等。然后将生成的LRMS和LRPAN图像作为输入图像，原始MS图像作为参考图像。相反，无监督方法直接在原始MS和PAN图像上训练。

Hyperspectral sharpening高光谱锐化

与多光谱图像相比，高光谱图像具有较高的光谱分辨率和较低的空间分辨率。因此，可以通过将低空间分辨率的高光谱图像（LRHS）与多光谱图像或全色图像进行融合来实现高光谱锐化，从而产生高空间分辨率的高光谱图像（HRHS）。用于高光谱锐化的深层模型包括CNN和GAN方法。与多光谱锐化任务类似，高光谱锐化任务中的这些方法也可分为有监督方法和无监督方法。由于HRHS图像不可用，监督CNN方法通常在模拟数据上训练。更具体地说，这些方法直接使用现有的光谱响应函数（SRF）和自定义点扩展函数（PSF）来实现原始HS图像的光谱退化和空间退化。并将原始HS图像构造成图像对，以在监督下学习高光谱锐化。然而，通过仿真中的监督训练获得的这种模型可能不适合真实的场景。在一些无监督CNN方法中，虽然不需要参考图像来监督训练过程，但要求CRF和PSF已知。这些方法通过SRF和PSF建立生成的HRHS图像与观测到的源图像之间的一致性关系，从而实现对HRHS图像的有效估计。不幸的是，SRF和PSF在大多数情况下是不可知的。为了解决这一问题，一些CNN方法联合收割机高光谱解混设计耦合网络来估计SRF和PSF，从而实现无监督的高光谱锐化，表现出良好的性能。与上述方法不同的是，[98]假设HRHS和LRHS图像共享相同的谱子空间，其中CNN仅用于正则化子空间系数的估计，以生成期望的HRHS图像。

Review of pixel-level remote sensing image fusion based on deep learning（王兆斌）

一般来说,融合方法可以分为三个处理水平从低到高:进行像素级、特征级和决策级。其中,进行像素级融合直接处理原始图像的像素点来生成融合图像与高质量。特征级融合从输入图像和提取关键特性进行综合处理,而决策级融合使得最优结论可信度的基础上初步决定完成本地与某些规则不同的图像。
相比之下,进行像素级融合尽可能保持原始信息和提供的信息,其他级别不能供应。然而,它也有一定的局限性,特别是图像配准的高要求。一般来说,大多数融合模型要求的图像像素级融合必须精确对齐,这对数据预处理提出了挑战。图1显示了不同的光学和SAR（synthetic aperture radar 合成孔径雷达）图像配对的例子。

我们发现空间信息融合和时空融合一直是研究的重点。时空融合的目的是把图像的信息在不同的日期生产系列与时间和空间分辨率好的图片。

传统融合方法Traditional image fusion methods

Spatial information fusion 空间信息融合

Classical methods
传统方法pansharpening可以主要分为三类:(1)组件替换(component substitution (CS));(2)多分辨率分析(multi-resolution analysis (MRA);(3)变分模型(variational model (VM))。

Spatio-temporal information fusion 空间-时间融合（时空融合）

传统方法在这一领域可以分为五类:(1)基于unmixing方法;(2)基于weight函数的方法;基于(3)基于learning方法;(4)基于Bayesian方法;(5)混合方法。

基于unmixing方法使用线性光谱混合分解理论的像素高时间分辨率的图像来估计高空间分辨率图像的像素值。注意,目前很多基于unmixing方法的原理可以追溯到多传感器多分辨率技术方法。这些方法通过引入局部校正、自适应移动窗口、成本函数等来改进原始模型。

基于权函数的方法通过提取输入信息的权函数估计理想像素值。时空适应性反射融合模型(STARFM)是第一个方法。自那时以来,一些改进的方法基于STARFM出现而其他人则介绍了一些重要指标和新开发的技术。
基于学习方法主要是基于dictionary-pair学习,极端的学习机器,随机森林等等之前深度学习的出现。
基于Bayesian方法模型输入图像和理想的结果之间的关系在贝叶斯框架,融合可以被视为一个最大后验的问题。
基于混合方法集成的优势上面的两个或两个以上的类别去追求更好的结果。

缺点：高度依赖函数和模型的选择根据一些人为设计的关系和假设。

Commonly used deep learning models常用的深度学习模型

常用S-AE、CNN、RNN和GAN的基本模型及其优化版本。

S-AE

S-AE可以视为一个深层神经网络组成的多层autoencoders,前一层的输出的autoencoder (AE)是用作下一层的输入。一个典型的AE结构(图5)所示由三层构成两个子结构:编码器和译码器。

在输出层神经元的个数等于输入层隐层神经元的数量通常比其他少。AE进行重建的输入使它尽可能平等的原始输入。这个过程由编码器和译码器实现。编码器压缩的过程输入一个潜在空间表示

图6显示了一个典型的S-AE结构。在培训过程中,由于梯度问题深陷网络消失,整个过程包括两个步骤:无监督分层技术训练和监督微调

The development of deep learning-based methods

Spatial information fusion

Spatial information fusion

方法：
1)S-AE
2)CNN
3)RNN
4)GAN

HS image sharpening

融合PAN图像和MS图像

Spatio-temporal fusion

以CNN模型为主，时空融合的目的是将多源图像的时空信息融合在一起来生成一个具有更高空间分辨率或具有更多空间细节和更短时间间隔的时间序列图像。

Multispectral and hyperspectral image fusion in remote sensing: A survey（Gemine Vivone）

（hyperspectral image 高光谱图片 ）
多光谱（MS）和高光谱（HS）图像的融合是近年来研究的热点。这些技术的目的是将高空间分辨率MS图像与显示较低空间分辨率但更精确光谱分辨率的HS数据相结合。

介绍

高光谱(HS)遥感信号的数据代表一个相关类工作在许多不同的领域,例如,植被监测、水资源管理、土壤调查和地质。相对于多光谱（MS）图像，HS图像的使用受到了一些研究所证实的识别照明场景关键特征的上级能力的激励。然而，利用卫星上的传感器获得的HS数据受到空间分辨率低（主要在30米至10米之间）的严重限制，无法获得可接受的最终产品信噪比。因此，若干应用经历了由空间分辨率引起的显著性能降级，例如，土壤成分估计、植被分类和城市变化检测问题。另一方面，使用模拟和真实的数据的研究已经证明了通过图像融合提高空间分辨率所带来的益处;例如，参见关于叶面积指数的估计、矿物测绘和入侵植物检测的研究。这些结果推动了大量技术的发展，这些技术用于将HS图像与MS和全色（PAN）传感器获得的高空间分辨率（HR）数据相结合，从而克服了空间分辨率的限制，在全球范围内解决了高空间分辨率机载成像系统仅在局部面临的新应用。此类应用包括高空间分辨率生态系统监测、矿物的高空间分辨率测绘、城市表面材料、土壤有机碳检测、作物参数提取等。

迄今为止，已有一些卫星考虑同时获取HS数据和MS或PAN图像的实例。先驱使命是退役的地球观测（EO） 。它安装了一个仪器（先进的陆地成像仪- ALI），可以获取MS（30米空间分辨率）和PAN（10米空间分辨率）图像。传感设备由一个超光谱传感器（Hyperion）完成，该传感器可采集可见近红外（VNIR）和短波红外（SWIR）光谱中的数百个光谱带，空间分辨率为30 m。因此，只有全色照相机（其特征在于比HS传感器的空间分辨率更精细的空间分辨率）可用于增强空间分辨率。这些数据确实有助于解决一个众所周知的问题，即所谓的超光谱全色锐化[18]。聚焦于最新技术，2019年3月发射并由意大利航天局管理的Prisma任务值得一提。卫星平台上有两个传感器:（1）30 m空间分辨率的HS相机在30 km的扫描带上获取VNIR和SWIR区域的约250个波段;(2)以5m的空间分辨率采集PAN信道。（略）

利用在同一平台上同时采集的这些异构数据源的一个有价值的选择是利用数据融合。结合MS图像的有趣特征，具有比HS传感器更精细的空间分辨率，而HS传感器显示更高的光谱分辨率，这是MS和HS图像融合的目标。这些方法可以提供具有高空间分辨率（即，MS图像之一）和高光谱分辨率（即，HS传感器之一），从而以更好的方式解决更复杂的任务，参见图1。
值得注意的是，可以放宽同时获取两个输入的要求，从而导致多平台数据融合方法的发展。然而，该问题引入了关于例如数据校准以及更关键的要融合的图像的一致性的进一步问题。事实上，关键问题涉及不同的视角和不同的获取时间，而这些几乎无法通过遥感数据处理链加以补偿。

介绍一下当前问题的分类。多光谱和超光谱图像融合问题，通常缩写为MS+HS。“超分辨率”，即：HS图像超分辨率。“锐化"被用来指出可以用该过程获得的空间分辨率增强。

这些方法将分为三个不同的类别。第一类与基于全色锐化的方法有关，即，全色锐化的应用，只是进一步解决频带分配问题，以使用经典全色锐化算法来处理该问题。之后，将考虑基于分解的技术的类别。这个类表示包含几个方法的较大类。更具体地，将输入图像建模为矩阵或张量带来两个不同的子类。
第二类，从许多原子到很少原子的字典的使用允许从稀疏表示到低秩的概念的应用。
最后一个类别则专注于应用新出现的技术，这些技术依赖于范例训练的范例。因此，基于机器学习的方法最近被开发出来，冲浪深度学习的大浪潮，经常借用计算机视觉的方法。

MS and HS image fusion: Pansharpening-based approaches

为HS和MS图像融合提出的第一种方法是从全色锐化借用的基于小波的技术。全色锐化，与光谱分辨率高于PAN影像的MS影像的融合有关，而不是显示更好的空间分辨率。全色锐化算法可分为四类，即：多分辨率分析、组件替换、基于变分优化和机器学习。使用全色锐化方法来解决不同图像融合任务的想法已被广泛开发。为了使该问题适应于经典全色锐化，要面对的进一步问题涉及波段分配问题，即，应当选择哪个高空间分辨率MS波段来增强给定HS波段的空间分辨率。实际上，当我们开发全色锐化方法时没有考虑这个问题，这是由于唯一的高空间分辨率图像，即PAN。

Band selection

在图3（a）中描绘了该硬判决方案，其中用红框指出了主块。其思想是创建依赖于分配算法的组。属于给定组的所有HS波段用相同的MS波段增强，从而将该问题报告给经典全色锐化，其中PAN图像由给定MS波段表示。为了定义分配算法，我们可以利用不同的标准，这些标准可以分为两个主要的子类别。第一种称为静态赋值。在这种情况下，使用MS和HS传感器的相对光谱响应（RSRs）的相似性度量，参见图4（a）。
该分配是静态的，因为其对于要用于融合的每对HS和MS传感器定义一次。这些算法计算HS频带与MS频带集合之间的相似性度量。最大相似性准则用于分配。不同的度量导致不同的算法。关联度量的一个简单示例是通过最小化两个RSR的质心之间的欧氏距离。
第二个子类别基于动态分配。在这种情况下，相似性度量直接定义在所采集的图像上（图像相关算法），从而导致甚至来自相同传感器对的不同采集的不同分配。因此，计算每个HS图像和所有MS图像集之间的相似性度量，参见图4（b）

最大相似性准则用于分配。值得注意的是，这些基于分配的方法可以与全色锐化技术一起使用。这些技术集合的适当组合产生用于MS和HS图像融合问题的新方法。

Band synthetization

在图3（b）中描绘了该软判决方案，其中用红框指出了主块。其思想是从所有MS谱带的集合开始为每个HS带合成HR图像。合成模型为线性模型。线性组合的权重通过最小化MS影像的降低分辨率版本与以全比例内插的低分辨率HS影像之间的均方误差来计算。对每个HS图像迭代该过程，我们可以得到一组