GAP全局池化替代全连接层的分析_不改变通道的gap方式

首先我们来看一下全连接层的缺点：

在AlexNet及其之前的大抵上所有的基于神经网络的机器学习算法都要在卷积层之后添加上全连接层来进行特征的向量化，此外出于神经网络黑盒子的考虑，有时设计几个全连接网络还可以提升卷积神经网络的分类性能，一度成为神经网络使用的标配。

但是，我们同时也注意到，全连接层有一个非常致命的弱点就是参数量过大，特别是与最后一个卷积层相连的全连接层。一方面增加了Training以及testing的计算量，降低了速度；另外一方面参数量过大容易过拟合。虽然使用了类似dropout等手段去处理，但是毕竟dropout是hyper-parameter， 不够优美也不好实践。

那么我们有没有办法将其替代呢？当然有，就是GAP(Global Average Pooling)。

我们要明确以下，全连接层将卷积层展开成向量之后不还是要针对每个feature map进行分类吗，GAP的思路就是将上述两个过程合二为一，一起做了。如图所示:

由此就可以比较直观地说明了。这两者合二为一的过程我们可以探索到GAP的真正意义是:对整个网路在结构上做正则化防止过拟合。其直接剔除了全连接层中黑箱的特征，直接赋予了每个channel实际的类别意义。做法是在最后卷积层输出多少类别就多少map，然后直接分别对map进行平均值计算得到结果最后用softmax进行分类。

实践证明其效果还是比较可观的，同时GAP可以实现任意图像大小的输入。但是值得我们注意的是，使用gap可能会造成收敛速度减慢。