SENet论文理解与代码复现（pytorch）_senet代码复现

SENet-pytorch代码链接

Jnmz/SENet-pytorch: Implementing SENet using the pytorch framework,You can use tensorboard to view the log and resume training at checkpoints (github.com)

Attention机制

模仿人类视觉机制，只关注部分区域，忽略无关区域。

在神经网络中加入注意力机制有很多方法，可以在空间维度引入注意力机制（eg inception结构，让并联的卷积层分配不同的权重），也可以在通道维度引入attention机制

通过自动学习的方式（用另外一个神经网络实现）获取到每个特征通道的重要程度，然后用这个重要程度去给每一个特征通道赋予权重值，从而让神经网络重点关注某些特征通道。实现在通道维度上引入attention机制。

Global pooling就是squeeze操作，FC+ReLU+FC+Sigmoid就是excitation操作

这里全连接层的参数根据loss一起不断迭代更新。最后通过sigmoid函数转化为一个0~1的归一化权重。

SENet的核心思想在于通过全连接网络根据loss去自动学习特征权重（并不是直接根据特征通道的数值分布来判断），使得有效的特征通道权重大。

而excitation操作中用两个全连接层的好处在于：具有更多非线性，可以更好的拟合通道间的复杂性。