SE-Net---在通道上分配attention的模块（论文阅读）

Squeeze excitation network 以下简称SE-Net

SE是一个在卷积特征图通道上分配Attention的模块，可嵌入到其他的的网络结构中。

SE模块图示：

下面说明如何计算attention，即分配给各通道权重值的计算方式。

Ftr：常规卷积操作

Fsq：squeeze操作，使用H x W大小的卷积核进行average pooling（也叫global average pooling），生成1 x 1 x C的向量

Fex：excitation操作。 公式表示的是两个FC构成的bottleneck结构，防止过拟合，提高泛化能力。如下图，detla表示relu函数，sigma是sigmoid。

补充说明：论文中z和s的维度是一样的。Bottleneck先降维再升维，假设降维的比例系数r，实验结果精度也与r的大小有关。相关内容在文末说明。

Fscale：下标c可理解为channel-wise，每张通道的特征图 uc与对应的标量sc相乘。

Fex中得到的向量中元素相当于对应ch