【深度学习论文】Alexnet 论文学习网络讲解_alexnet随机梯度下降法

Alexnet

1 网络架构

整个alexnet网络的架构如下图所示：

注意：输入层的大小其实是227*227

8大模块

整个网络可以分成8个大模块，其中前5模块四卷积模块，用于提取图片特征，后3个模块是全链接层，用于图像分类！

前2个模块

34模块

5模块

6模块

78模块

2 激活函数

Hinton提出使用Relu激活函数效果更好！

从ReLU提出之后相继又出现很多新的激活函数，如PReLU,Leaky-ReLY,Maxout等。

3 Dropout

可以利用78模块集成学习的思想来理解Dropout，全连接中训练多个若分类器，在识别阶段在来构成一个强分类器。Dropout比Without Dropout在训练阶段的准确率要低，但测试阶段的准确率要高，范化能力更强。可以利用集成学习的思想来理解Dropout技术。

4 多GPU通信

5 LRN

6 网络细节和特点

上图右侧是论文中比较创新的地方，可以看出Alexnet是人工智能第三次爆发的开山之作！

1.标准梯度下降法

标准梯度下降先计算所有样本汇总误差，然后根据误差来更新权值

2.随机梯度下降法

随机梯度下降法随机抽取一个样本来计算误差，然后更新权值。比较容易陷入局部最优解。

3.批量梯度下降法

批量梯度下降算法是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后再计算这个batch的总误差，根据总误差来更新权值。

参考文献：
[alexnet]:ImageNet Classification with Deep Convolutional Neural Networks