学习笔记--目标分类10 SENet_注意力机制cam和senet有什么联系

1、归纳

本研究提出了压缩（sequeeze）和激励（Excitation）构成的通道维度的attention模块，即插即用并非完整的网络模型。略微增加计算成本。并将其使用在不同的经典网络及轻量化网络上，得到精度验证。

2、论文

相关研究

一、注意力机制、
1数学角度、是一种权重模式进行运算
2卷积角度，利用一些网络层计算得到特征图对应的权重值
3一种即插即用
4本质：设计一些卷积层输出权重值
具体操作为：在原有的模块中再加入一个分支，计算权重，得到的权重再与原来的进行相乘，就得到了具有注意力机制的特征图
二、STNet、
STNet通过spatial transformer将形变的，位置偏离的图像变换到图像中间，使得网络对空间变换更鲁棒

三、attention resnet、
一般注意力都需要额外加分支，此处的注意力只要在一个前向过程中提取模型的attention就可以了

T(x)*（M(x)+1）即T(x)*M(x)+T(x)残差思想
四、CBAM

ILSVRC

2017结束，错误率达到2.25

SE block

1squeeze：global information embedding
采用全局池化，即压缩H和W到1*1，利用1个像素来表示通道，实现低维嵌入
2excitation：Adaptive Recalibration
采用两个全连接层：中间的神经元个数为C/r，两边的神经元个数为C，第一个FC用relu，第二个FC用sigmoid。r实验后16比较好
3scale：将得到的权重向量与通道的乘法

不同的block

SE block只重构特征图，不改变原来的结构

SE Block的使用及带来的参数量

每个residual block后嵌入SE block

注意

1论文中block有的地方也称module
2消融实验ablation study

推荐论文

1可视化卷积结果，帮助理解卷积
2CAM、Grad-CAM、Grad-CAM++