Deep RGB-D Saliency Detection with Depth-Sensitive Attentionand Automatic Multi-Modal Fusion

Deep RGB-D Saliency Detection with Depth-Sensitive Attention and

Automatic Multi-Modal Fusion

深度敏感注意和自动多模态融合的深度 RGB-D 显着性检测

CVPR2021

---

一 动机

RGB-D 显着目标检测 (SOD) 通常被表述为对两种模式（即 RGB 和深度）的分类或回归问题。 因此，有效的 RGBD 特征建模和多模态特征融合在 RGB-D SOD 中都起着至关重要的作用。

二 方法

提出了一种使用显著对象的深度几何先验的深度敏感 RGB 特征建模方案。 原则上，特征建模方案是在深度敏感的注意力模块中进行的，通过先验深度几何来增强 RGB 特征以及减少背景干扰。

此外，为了进行有效的多模态特征融合，我们进一步提出了一种用于 RGB-D SOD 的自动架构搜索方法，该方法可以很好地从我们专门设计的多模态多尺度搜索空间中找出可行的架构。

三 网络框架

整个网络由一个RGB分支、一个深度分支和一个专门设计的融合模块组成，RGB分支基于VGG-19[53]，深度分支是一个轻量级的深度网络，用于获取不同尺度的深度特征。  

在RGB分支中的每个池化之后插入一个深度敏感注意模块（DSAM），它是利用原始的深度图来增强RGB特征，具体是怎么增强的呢？将原始深度图分解成多个区域，如果在这个区域中，像素值具有相同的深度分布，那么将这个区域视为空间注意力图，提取相应的RGB特征。

然后将两个分支提取的特征送到作者提出的多模态多尺度模块。作者设计了一个适用于多模态多尺度融合的搜索空间，该空间包含了4种不同的结构：多模态融合MM，多尺度融合MS，全局上下文聚集GA，空间信息恢复SR

 3.1 深度敏感注意 

提出了一种深度敏感的RGB特征建模方案，包括深度分解和深度敏感的注意力模块。 通过3(a)步骤将原始深度图分解为T+1个区域。最后，每个区域归一化为[0,1]，作为后续过程的空间注意掩模。

在获得这些注意力掩模后， 在DSAM中，所获得的注意掩码在RGB分支中产生T+1个子分支，如图3(b)。对这T+1个分支进行池化，将尺寸调节为和RGB特征尺寸一致，然后，利用调整大小的掩码来提取T+1个并行子分支中的深度敏感特征。具体过程为：将每个掩码与RGB特征进行相乘，然后使用1x1卷积作为过渡层，从不同的深度区间对RGB特征进行细化，然后使用加法将得到的T+1个深度敏感特征聚合在一起，最后，使用残差连接，得到最终的特征。

这样，DSAM不仅为RGB特征提供了基于深度的几何先验知识，而且消除了难以处理的背景干扰（如杂乱物体或相似纹理）。 

3.2自动多模态多尺度特征融合 

4个单元：首先，我们使用MM直接在RGB和深度分支之间进行多模态特征融合。 其次，利用MS进行密集多尺度特征融合。第三，利用GA聚合MS单元的输出，以获取全局上下文。 最后，引入SR单元，将低层和高层特征相结合，弥补下采样带来的空间细节损失。 在所提出的搜索空间中的整个执行过程详细如下。 

搜索空间：将两个分支的相邻特征作为MM的输入，得到多模态特征；

接下来，我们通过MS进行进一步的密集特征融合。 多尺度融合有两种，即用三个MS对不同尺度上的每个多模态特征与原始特征进行融合，用另一个MS单元对所有导出的多模态多尺度特征进行融合。