深度学习基础（四）卷积神经网络——经典CNN网络_overpooling

参考文章：
经典CNN结构简析
GoogLeNet的心路历程（二）
【深度学习】论文导读：GoogLeNet模型，Inception结构网络简化（Going deeper with convolutions）
你必须要知道CNN模型：ResNet

AlexNet——卷积神经网络的起源

深层神经网络的雏形，2012年的冠军网络，多层卷积与多层池化层的结合，最后为两个全连接层进行输出，有softmax层进行分类输出。
有以下几个创新点

1. 采用了Relu激活函数：ReLU(x) = max(x,0)
2. LRN(Local Response Normalization） 局部响应归一化，LRN模拟神经生物学上一个叫做 侧抑制（lateral inhibitio）的功能，侧抑制指的是被激活的神经元会抑制相邻的神经元。LRN局部响应归一化借鉴侧抑制的思想实现局部抑制，使得响应比较大的值相对更大，提高了模型的泛化能力。LRN只对数据相邻区域做归一化处理，不改变数据的大小和维度。
3. 采用overpooling进行池化计算，重叠池化就是池化操作在部分像素上有重合。池化核大小是n×n，步长是k，如果k=n，则是正常池化，如果 k<n, 则是重叠池化。官方文档中说明，重叠池化的运用减少了top-5和top-1错误率的0.4%和0.3%。重叠池化有避免过拟合的作用。
4. AlexNet在fc6、fc7全连接层引入了drop out的功能。减少模型过拟合，让网络泛化能力更强，同时由于减少了网络复杂度，加快了运算速度。
5. 数据增强：在数据处理这部分作者提到过将每张图片处理为256××256的大小，但网络结构图中的输入却为224××224，这是因为作者在256××256大小的图片上使用了一个224××224的滑动窗口，将每个滑动窗口中的内容作为输入，这样就能将整个数据集扩大到原来的(256−224)×(256−224)=1024(256−224)×(256−224)=1024倍

VGG——AlexNet增强版

针对AlexNet中的缺点进行改进

• 去除LRN层 效果并不明显将LRN层去掉。
• 使用更小的卷积核： 使用更小的卷积核，避免在特征的提取过程中重复部分被多次卷积。
• 使用更小的池化核：更多的保存featuremap的特征
• 更深的网络层 ：更深的结构往往意味着更好的训练结果

NIN——取消全连接层

相对于VGG，NIN取消了全连接层，改用1*1的卷积层。VGG、AlexNet的绝大多数参数都集中于最后几个全连接层上，然而全连接层这玩意不仅线性强，参数多，还容易过拟合，NIN便使用1x1的卷积层创造性地解决了这个问题， 利用多个“普通卷积层+1x1的卷积层”的嵌套，不仅可以达到良好的效果，而且大大降低了参数。增加了训练的速度。

GoogLeNet——稀疏化的网络结构

承接与NIN的思想，不同的是采用不同的卷积进行特征的学习，减少因为特征图大小的不同而学习效果差的问题。

初始的模型如下图所示：

为了防止维度爆炸以及增加非线性，在卷积层之前和池化层之后增加了1×1的卷积层（增加Relu作为激活函数）如下图所示：

ResNet——VGG+残差结构

更深的深度模型。区别是带来了残差学习（Residual learning）

实验发现深度网络出现了退化问题（Degradation problem）：网络深度增加时，网络准确度出现饱和，甚至出现下降。这个现象可以在图3中直观看出来：56层的网络比20层网络效果还要差。这不会是过拟合问题，因为56层网络的训练误差同样高。我们知道深层网络存在着梯度消失或者爆炸的问题，这使得深度学习模型很难训练。

深度网络的退化问题至少说明深度网络不容易训练。但是我们考虑这样一个事实：现在你有一个浅层网络，你想通过向上堆积新层来建立深层网络，一个极端情况是这些增加的层什么也不学习，仅仅复制浅层网络的特征，即这样新层是恒等映射（Identity mapping）。在这种情况下，深层网络应该至少和浅层网络性能一样，也不应该出现退化现象。好吧，你不得不承认肯定是目前的训练方法有问题，才使得深层网络很难去找到一个好的参数。