当前位置:   article > 正文

红外与可见图像融合论文心得(四)--CrossFuse(一种新的基于交叉注意机制的红外与可见光图像融合方法)_crosstransformer 红外 rgb

crosstransformer 红外 rgb

本文主要工作: 

1. 本文引入了一种交叉注意机制来增强多模态特征。所提出的机制通过有效地增加互补特征来优化融合过程,从而使结果更加准确和全面。

2. 本研究提出了一种新的混合融合网络,将卷积层的优势与注意机制(自注意机制和交叉注意机制)相结合,用于多模态图像融合。该方法有利于从源图像中提取深度特征,保持细节信息,增强互补信息。

3. 实验结果表明,本文提出的方法是当前融合技术的一种有前途的替代方法。它为多模态图像融合任务提供了一种更加鲁棒和高效的解决方案。

网络结构

本文提出的基于CAM的融合网络主要针对图像融合任务的基本问题,即图像融合任务中的交叉注意机制应增强互补(不相关)信息,减少冗余(相关)特征。

编码器结构

交叉注意机制 CAM

CAM的架构如图所示。

利用两个不同参数的分支从两个模态中提取特征。每个模态特征首先被馈送到自注意(SA)块中,以增强内部特征,这符合自注意的洞察力。为了进一步增强内部特征,在CAM中还引入了移位操作,将特征的位置进行水平和垂直移动。然后,使用另一个SA块对移位的特征进行增强,使其包含更多的全局信息。在交叉注意之前,使用“unshift”来恢复位置。因此,SA的数量是CA的两倍。

在获得内部增强特征后,引入了交叉注意块。SA的公式如下:

x^{c}表示SA的输入,

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/498064
推荐阅读
相关标签