基于多模态互补特征学习的遥感影像语义分割_多模态遥感图像分割

遥感图像语义分割是将对象类标签分配给遥感图像中每个像素的一项技术，被广泛应用于地质的量化分析、城市规划、环境监测和保护等领域。因此，语义分割一直是遥感领域的研究热点。然而，建筑物、道路和树木等地物具有较高的类内方差和相似的类间外观，因此遥感图像语义分割具有一定的挑战性。

遥感图像的光谱信息，例如红、绿、蓝三通道图像（red, green, blue, RGB）或近红外、红、绿（infrared, red, green, IRRG）图像，通常是语义分割任务的第一个数据源。近年来，深度学习在遥感图像的光谱图像语义分割方面取得了重大进展[1-2]。基于全卷积网络的方法和编码架构已被广泛应用并取得了较好效果。Fu等[3]设计了基于全卷积神经网络的遥感图像语义分割算法，实现了遥感图像端到端的语义分割。在此基础上，研究者们还提出了空间关系模块[4]和空间信息推理模块[5]。通过对特征图通道及空间上下文关系进行有效建模，使网络聚焦于目标区域，抑制其他类别的影响。Zhang等[6]在编解码结构中采用金字塔池化模块以聚合不同区域的上下文信息，从而提高网络获取全局信息的能力。此外，在损失函数的设计上，为了解决遥感图像中严重的类不平衡问题，Dong等[7]提出了加权损失和像素级交叉熵损失相结合的多类损失，提升了小样本量地物分割精度。Liu等[8]将边界损失引入网络中得到了更精细的地物边界分割结果。这些方法在遥感图像语义分割中均取得了显著效果。但在某些特定场景下，如物体的外观因阴影和天气条件而改变，某些地物在光谱信息上高度相似的类间外观（高低植被）等，仅仅利用光谱信息作为单一信息源会导致分割性能低，在某些地物上错分严重。