SE-Net网络详解

Squeeze excitation network 以下简称SE-Net

SE是一个在卷积特征图通道上分配Attention的模块，可嵌入到其他的的网络结构中。

原论文地址：https://arxiv.org/abs/1709.0150

挤压和激励(SE)块

目的:  通过显式建模网络卷积特征通道之间的相互依赖性来提高网络产生的表示质量。

Squeeze: Global Information Embedding

       使用H x W大小的卷积核进行average pooling（也叫global average pooling），生成1 x 1 x C的向量。即: 将spatial上的信息直接压缩成为一个数，相当于将每一个通道直接压缩成一个标量 。对应于图中的Fsq操作。

Excitation: Adaptive Recalibration

        由于获得的全局描述仅仅代表了每一个通道的feature，它不能作为channel的权重，因此提出Excitation操作，该操作主要的目的是比较全面的获取到通道级别的依赖。

        为了实现这一目标，该功能必须满足两个标准：第一，它必须是灵活的（特别是，它必须能够学习通道之间的非线性交互）；第二，它必须学习非互斥关系，因为我们希望确保允许强调多个通道（而不是强制执行一个热激活）。

        公式表示的是两个FC构成的bottleneck结构，防止过拟合，提高泛化能力。如上图，detla表示relu函数，sigma是sigmoid。 使用全连接层的目的是为了获取全局的scale，如果不加全连接层就只能从一个mini-batch中获取信息，而不是从整个数据集训练得来的。其中r为压缩率，为了减少计算量，本文指出r=16能够平衡准确度和计算复杂度。

Fscale

        将权值向量s和原始特征映射点乘得到加权后的特征映射。

 下标c可理解为channel-wise。

summary

卷积的两个特性：空间上的和通道上的。显式地将通道之间的相互关系建模到神经网络的module中，这样比起用标准的module能够得到性能上的增益
通道之间的相互关系：可以对不同的通道做不同的加权，这样有用的特征会被放大，没有用的特征就会被抑制 

本文在通道尺度上进行研究，对不同的通道加权以改变其重要程度。实际上是使用了注意力机制（Attention Mechanism），借鉴于人用有限的注意力资源，从大量信息中筛选出高价值信息的手段。其次本文介绍的是一种通用的模型改造方法，可以很容易对以前的经典模型进行改造提升性能，并且不用消耗很大的计算资源。