AlexNet 学习笔记_alexnet准确率一般为多少正常

一、介绍：

Alex在2012年提出的alexnet网络结构模型引爆了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。首次在CNN中应用了ReLu、Dropout层，其官方提供的数据模型，准确率达到57.1%,top 1-5 达到80.2%。

二、技术点：

• 多个GPU ：提高计算速度；
• AlexNet使用ReLU代替了Sigmoid：能更快的训练，同时解决sigmoid在训练较深的网络中出现的梯度消失（梯度弥散）的问题；
• 重叠的pool池化：不容易产生过拟合。AlexNet中使用最大池化层代替CNN中普遍使用平均池化层，避免了平均池化层的模糊化的效果。并且步长比池化的核的尺寸小，这样池化层的结果之间有重叠，提升了特征的丰富性；
• 局部响应归一化LRN：对局部神经元创建了竞争的机制，使得其中响应大的值变得更大，并抑制反馈较小的；
• 数据增益和0.5的Dropout：减少过拟合，使用数据增强、加Dropout层的方法缓解过拟合现象 。

三、相关技术内容：

1. 减少过度拟合方法

• 数据增强。通常会从现有数据中生成额外的数据。以下是AlexNet团队使用的一些技巧。
  a. 通过镜像实现数据增强。如果训练集中有一只猫的图像，那么它的镜像也是一只猫。训练数据集可变为原来的两倍。
  
  b. 通过随机裁剪实现数据增强，即原始数据的移位版本。AlexNet的作者从大小为256×256的图像中随机裁剪出大小为227×227的图像，作为网络的输入。使用这种方法将数据的大小变为原来的2048倍。如下图，这四个随机裁剪的图像相似但不相同，对神经网络来说，都是一只猫。
  
  c. 改变原图的RGB的强弱来增加样本总数。及时图片颜色变化或亮度变化，不会影响预测效果。
  注：还有一些数据增强的方法可以参考：
  https://www.cnblogs.com/zhonghuasong/p/7256498.html
• Dropout
  在对6000多万个参数的训练中，作者采用了Dropout的技术来减少过拟合。在丢弃过程中，一个神经元被从网络中丢弃的概率为0.5，当一个神经元被丢弃时，并不影响正向传播和反向传播（如下面的动画所示）,因此，所学习的权重参数更可靠。Dropout层使迭代次数减少，如果没有使用丢弃技术，AlexNet的过拟合会更加严重。
  

2. 重叠最大池化

通常使用最大池化层来对张量的宽度和高度进行采样，且保持深度不变。重叠的最大池层与最大池层类似，除了重叠最大池层的相邻窗口是相互重叠的。作者使用的池化窗口是大小为3×3，相邻窗口步幅为2的窗口。在输出尺寸相同的情况下，与使用大小为2×2，相邻窗口步幅为2的非重叠池化窗口相比，重叠池化窗口能够分别将第一名的错误率降低0.4%，第5名的错误率降低0.3%。

3. ReLU非线性

AlexNet的另一个重要特性就是使用了ReLU激活函数。优点：1、与使用tanh相比ReLUs能以6倍快的速度到达25%的训练错误率（CIFAR-10数据集）。2、解决了sigmoid在网络层次较深时的梯度弥散问题。
ReLU函数： f(x)= max(0,x)
注：梯度弥散：在梯度下降过程中，随着算法反向反馈到前面几层，梯度会越来越小，最终会在还没有找到最优解时就收敛。并且深度学习遭受不稳定梯度，不同层学习在不同的速度上，后面几层变化大，前面几层变化小（甚至基本没有变化）。

激活函数介绍、梯度消失及梯度弥散可参考链接：
http://www.360doc.com/content/17/1102/21/1489589_700400500.shtml

4.局部响应归一化（LRN）

提出LRN层，局部响应归一化，对局部神经元创建了竞争的机制，使得其中响应较大的值变得更大，并抑制反馈较小的（强者更强，弱者更弱）。

但人们对LRN层的评价都不高，下面是一个参考链接：
https://blog.csdn.net/searobbers_duck/article/details/51645941

四、Alexnet网络结构：

Alexnet网络是由八层网络组成的，包括5层卷积层和3层全连接层。Alexnet网络由于一个GPU显存不够所以采用了两个GPU进行训练，其中CONV1、CONV2、CONV4和CONV5在每块GPU上只利用了所在层的一半feature map，而CONV3、FC6、FC7和FC8则使用了所在层的全部的feature map。
下图是网络参数计算细节：

参考：
[1]: https://blog.csdn.net/Rasin_Wu/article/details/80017920
[2]: https://blog.csdn.net/qq_28123095/article/details/79767108?utm_source=blogxgwz0
[3]: https://yq.aliyun.com/articles/602853
[4]: https://blog.csdn.net/qq_28123095/article/details/79767108
[5]:https://www.cnblogs.com/alexanderkun/p/6917984.html
[6]: https://blog.csdn.net/taoyanqi8932/article/details/71081390
这些不是全部，还有其他一些视频和网站参考。