赞
踩
本文主要工作:
1. 本文引入了一种交叉注意机制来增强多模态特征。所提出的机制通过有效地增加互补特征来优化融合过程,从而使结果更加准确和全面。
2. 本研究提出了一种新的混合融合网络,将卷积层的优势与注意机制(自注意机制和交叉注意机制)相结合,用于多模态图像融合。该方法有利于从源图像中提取深度特征,保持细节信息,增强互补信息。
3. 实验结果表明,本文提出的方法是当前融合技术的一种有前途的替代方法。它为多模态图像融合任务提供了一种更加鲁棒和高效的解决方案。
本文提出的基于CAM的融合网络主要针对图像融合任务的基本问题,即图像融合任务中的交叉注意机制应增强互补(不相关)信息,减少冗余(相关)特征。
CAM的架构如图所示。
利用两个不同参数的分支从两个模态中提取特征。每个模态特征首先被馈送到自注意(SA)块中,以增强内部特征,这符合自注意的洞察力。为了进一步增强内部特征,在CAM中还引入了移位操作,将特征的位置进行水平和垂直移动。然后,使用另一个SA块对移位的特征进行增强,使其包含更多的全局信息。在交叉注意之前,使用“unshift”来恢复位置。因此,SA的数量是CA的两倍。
在获得内部增强特征后,引入了交叉注意块。SA的公式如下:
表示SA的输入,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。