注意力机制CBAM实现_[49]cbam

1.CBAM简介

论文：CBAM: Convolutional Block Attention
Module
提出了一个简单但有效的注意力模块 CBAM，给定一个中间特征图，沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。由于 CBAM 是一个轻量级的通用模块，它可以无缝地集成到任何 CNN 架构中，额外开销忽略不计，并且可以与基本 CNN 一起进行端到端的训练。在不同的分类和检测数据集上，将 CBAM 集成到不同的模型中后，模型的表现都有了一致的提升，展示了其广泛的可应用性。
CBAM可以分为两个部分：通道注意力模块和空间注意力模块，如下图所示。

• 通道注意力模块：关注什么（what）的特征有意义
  输入一个特征图F为HWC(实际中可能还有batch，即NHWC)，首先进行一个全局空间最大池化和平均池化，得到两个11C的descriptor。再将他们分别送入MLP（含有一个隐藏层），第一层神经元个数为C/r，第二层神经元个数为C。这个神经网络是共享（不太明白，是两个descriptor共享还是两层神经网络共享，应该是后者）。再将两个输出向量运用element-wise加法，经过sigmoid函数得到权重系数Mc。最后拿Mc与原来的特征F相乘得到新特征F‘
• 空间注意力模块：关注哪里（where）的特征有意义
  输入特征图F’为HWC（同样可能有batch），首先经过通道平均池化和最大池化得到两个HW1的描述子，并按通道拼接。然后经过一个7*7的卷积层和sigmoid激活函数，得到权重系数Ms。最后拿Ms与F‘相乘得到最终注意力特征。

2.代码实现

看完上面的过程就很容易理解代码的实现，这里放两份代码。一份是参考这个博主的代码，另外一份是Github：kobiso/CBAM-tensorflow。
代码一：

def combined_static_and_dynamic_shape(tensor):
    """Returns a list containing static and dynamic values for the dimensions.  Returns a list of static 
    and dynamic values for shape dimensions. This is  useful to preserve static shapes when available in reshape operation.  
    Args:    tensor: A tensor of any type.  
    Returns:    A list of size tensor.shape.ndims containing integers or a scalar tensor.  """
    static_tensor_shape = tensor.shape.as_list()
    dynamic_tensor_shape = tf.shape(tensor)
    combined_shape 
1
2
3
4
5
6
7