【前沿热点视觉算法】-RGB-D显著目标检测的边缘感知多模态变压器_目标检测前沿

计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。

1 论文题目

• RGB-D显著目标检测的边缘感知多模态变压器

2 论文摘要

• RGB-D显著目标检测（SOD）近年来引起了广泛的关注。特别是，变压器已被使用，并显示出巨大的潜力。然而，现有的变压器模型往往忽略了重要的边缘信息，这是限制SOD精度进一步提高的主要问题。为此，我们提出了一种新的边缘感知RGB-D SOD变压器，称为EM-Trans，它在双带分解框架中显式地建模边缘信息。具体来说，我们采用两个并行解码器网络，分别从一个双蒸汽多模态主干网络中提取的低阶和高级特征中学习高频边缘和低频体特征。接下来，我们提出了一个交叉注意互补探索模块，利用多模态互补信息来丰富边缘/体特征。然后将改进后的特征输入到我们提出的颜色提示引导融合模块中，以增强深度特征和融合多模态特征。最后，利用我们的深度监督渐进融合模块对所得到的特征进行融合，该模块逐步集成边缘特征和身体特征来预测显著性映射。我们的模型明确地考虑了精确的RGB-D SOD的边缘信息，克服了现有方法的局限性，有效地提高了性能。在基准数据集上的大量实验表明，EM-Trans是一种有效的RGB-D SOD框架，无论在定量和定性上都优于当前最先进的模型。对RGB-T SOD的进一步扩展显示了我们的模型在各种多模态SOD任务中的巨大潜力。

3 论文创新点

• 提出了一种新的边缘感知RGB-D SOD模型，该模型在多波段分解框架中明确考虑边缘信息，其中多模态体/边缘特征从从主干中提取的高/低级特征中预测。
• 提出了CACE，一个有效的特征互补探索模块，通过利用具有交叉注意机制的多模态互补信息来丰富身体/边缘特征。
• 设计了两个有效的融合模块，包括一个多模态融合模块（即CGMF），它集成了多模态特征，以及一个边缘-体融合模块（即DSPF），它逐步集成了身体和边缘特征与深度监督。
• 对五个基准数据集进行的广泛的定量和定性评估表明，我们的EM-Trans优于最先进的（SOTA）RGB-D SOD模型。进一步的消融研究和对RGB-T SOD的扩展验证了所提出的模块的有效性，以及我们的EM-Trans对各种多模态SOD任务的潜力。

4 论文架构