EDCSTFN（用于时空图像融合的增强深度卷积模型）

遥感图像时空融合

第一章 DCSTFN：https://editor.csdn.net/md/?articleId=117733388

---

EDCSTFN这篇文章是对DCSTFN的改进。其中的方法有相当可以学习的地方。

本文的贡献：1、采用全新的网络结构和新的复合损耗函数对融合结果进行了显著改进。在两个不同领域进行的实验通过与现有算法进行比较，证明了这些改进。
2、比较讨论了现有基于深度学习的时空融合模型的优缺点，为未来时空融合研究提供了网络设计指导。

目前的问题：用于特征级融合的从CNN模型中预测的图像不像实际观察的那样清晰。这部分是因为卷积网络将其损失函数最小化，使预测尽可能接近真实情况，因此，每个像素之间的误差被平衡，以达到全局最优。实践表明，图像重建的消因子损失函数- $l_2$loss(即均方误差(mean squared error, MSE))很可能产生模糊的图像[34]。其次，在时空融合中，选择合适的LTHS参考图像是非常重要的，所有详细的高频信息都来自这些参考图像，因此，预测必然受到参考图像的影响，导致融合结果与参考图像有一定程度的相似。如果在参考和预测期间有显著的地面变化，情况可能会更糟。

本文就这些问题的改进之处：1、需要至少一对MODIS-Landsat影像作为融合参考，预测的光谱信息是基于参考数据和预测数据之间的光谱变化而得到的。

改进的新颖之处：1、参考数据和预测数据之间的差异完全从实际数据中学习，而不像DCSTFN模型，输入和输出之间的关系建立在一个假设的方程上。
2、采用一种新的复合损耗函数尽可能地保留高频信息，将精度和视觉损耗相结合，生成清晰的图像
3、支持两对参考，通常是预测日期前后的参考，减少预测对单一参考的依赖，从而提高模型的准确性和鲁棒性。

---

一、方法

EDCSTFN与DCSTFN的比较

DCSTFN介绍

设L表示Landsat影像，M表示MODIS影像。在与MODIS对应的同一地理区域内，有$t_0、t_1、t_2$时刻的MODIS图像，也有$t_0、t_2$时刻的Landsat图像。时空融合的目的是在t1时刻预测具有精细空间分辨率的landsat类图像。
映射函数f为：

综上所述，深度学习方法是从存档的卫星图像中建立一组可学习参数Θ的复杂非线性映射来近似实际的f函数。

通常，原始的DCSTFN模型采用“编码器-合并-解码器”体系结构来解决这个问题。在DCSTFN融合模型中，HTLS子网和LTHS子网分别作为编码器从MODIS和Landsat图像中提取特征。融合过程是在高级抽象特征空间中进行的，来合并来自不同的数据源的特征。
具体来说，假设参考日期和预测日期之间MODIS和Landsat影像上观测到的地物变化基本相同，将提取的地物进行合并，可表示为式(2)。

其中，FL和FM表示从Landsat和MODIS影像中提取的特征图。下标为数据采集时间。

HTLS子网采用转置卷积[35]上采样MODIS图像特征，以匹配LTHS子网产生的Landsat特征大小。最后，融合的高级特征进入一个重构子网络-解码器-并被恢复到原始像素空间。
图1a说明了DCSTFN模型的总体架构。$t_k$时刻的MODIS参考数据和$t_1$t预测日的MODIS参考数据共用同一个HTLS编码器，Landsat参考数据输入LTHS编码器。最后的预测直接由重构解码器产生。

EDCSTFN架构

总体架构

EDCSTFN采用了类似的“编码器-合并-解码器”体系结构，有三个子网。第一编码器称为LTHS编码器，用于Landsat特征提取;第二个编码器称为残差编码器，用来学习参考数据和预测数据之间的特征差异。通过添加这两个编码器的特征映射，生成预测上的特征，最后重建解码器将这些高级特征恢复到原始像素空间，得到预测。 整个过程可以用式(3)表示，

其中, g g