Transformer with Transfer CNN for Remote-Sensing-Image Object Detection

遥感图像（RSI）中的目标检测始终是遥感界一个充满活力的研究主题。 最近，基于深度卷积神经网络 (CNN) 的方法，包括基于区域 CNN 和基于 You-Only-Look-Once 的方法，已成为 RSI 目标检测的事实上的标准。 CNN 擅长局部特征提取，但在捕获全局特征方面存在局限性。 然而，基于注意力的变压器可以获取远距离的 RSI 关系。 因此，本研究对用于遥感目标检测（TRD）的变压器进行了研究。 具体来说，所提出的 TRD 是 CNN 和带有编码器和解码器的多层 Transformer 的组合。 为了从 RSI 中检测对象，修改后的 Transformer 被设计为聚合多个尺度上的全局空间位置的特征，并对成对实例之间的交互进行建模。 然后，由于源数据集（例如ImageNet）和目标数据集（即RSI数据集）差异较大，为了减少数据集之间的差异，将TRD与传输CNN（T- 提出了基于注意力机制的TRD）来调整预训练模型以实现更好的RSI目标检测。 由于Transformer的训练总是需要丰富的、注释良好的训练样本，而RSI目标检测的训练样本数量通常是有限的，为了避免过拟合，数据增强与Transformer相结合来提高RSI的检测性能 。 所提出的带有数据增强的 T-TRD（T-TRD-DA）在两个广泛使用的数据集（即 NWPU VHR-10 和 DIOR）上进行了测试，实验结果表明所提出的模型提供了有竞争力的结果（即， 与竞争基准方法相比，百倍平均精度为 87.9 和 66.8，最多分别比 NWPU VHR-10 和 DIOR 数据集上的比较方法高出 5.9 和 2.4，这表明基于 Transformer 的方法打开了 RSI 对象检测的新窗口。