Dropout 原理解析_模型里面有dropout

1、Dropout、Dropconnect、Dropblock

Dropout、Dropconnect、Dropblock_Hello Python的博客-CSDN博客

dropout层_Dropout、Dropconnect_weixin_39623350的博客-CSDN博客

1、Dropout出现的原因

       在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。
       过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时，训练模型费时就成为一个很大的问题，不仅训练多个模型费时，测试多个模型也是很费时。
       综上所述，训练深度神经网络的时候，总是会遇到两大缺点：
        （1）容易过拟合
         （2）费时
       Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。

dropout的过程：
1、 首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变
2、 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）
3、 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
4、 然后继续重复这一过程。

2、什么是Dropout

        在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。
       在2012年，Alex、Hinton在其论文《ImageNet Classification with Deep Convolutional Neural Networks》中用到了Dropout算法，用于防止过拟合。并且，这篇论文提到的AlexNet网络模型引爆了神经网络应用热潮，并赢得了2012年图像识别大赛冠军，使得CNN成为图像分类上的核心算法模型。
       随后，又有一些关于Dropout的文章《Dropout:A Simple Way to Prevent Neural Networks from Overfitting》、《Improving Neural Networks with Dropout》、《Dropout as data augmentation》。
       从上面的论文中，我们能感受到Dropout在深度学习中的重要性。那么，到底什么是Dropout呢？
Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中，通过忽略一半的特征检测器（让一半的隐层节点值为0），可以明显地减少过拟合现象。这种方式可以减少特征检测器（隐层节点）间的相互作用，检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。
      Dropout说的简单一点就是：我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征，如图1所示。

                                                             图1：使用Dropout的神经网络模型

2. Dropout工作流程及使用
2.1 Dropout具体工作流程
假设我们要训练这样一个神经网络，如图2所示。

      典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播，图2。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。步骤如下：

 （1）随机（临时）删除网络中的一些隐藏神经元（被删除神经元的参数要保存），保持输入输出神经元不变（图3中虚线为部分临时被删除的神经元）

 （2）将输入x通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）。

 （3）然后重复上述操作

• 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经更新了参数（w，b）
• 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。
• 不断重复这一过程。

3、Dropout算法推导

具体讲解一下Dropout代码层面的一些公式推导

对应的公式变化如下：

 没有Dropout的网络计算公式：

采用Dropout的网络计算公式：

上面公式中Bernoulli函数是为了生成概率r向量，也就是随机生成一个0、1的向量。

      代码层面实现让某个神经元以概率p停止工作，其实就是让它的激活函数值以概率p变为0。比如我们某一层网络神经元的个数为1000个，其激活函数输出值为y1、y2、y3、......、y1000，我们dropout比率选择0.4，那么这一层神经元经过dropout后，1000个神经元中会有大约400个的值被置为0。

        注意： 经过上面屏蔽掉某些神经元，使其激活值为0以后，我们还需要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。如果你在训练的时候，经过置0后，没有对y1……y1000进行缩放（rescale），那么在测试的时候，就需要对权重进行缩放，操作如下。

（2）在测试模型阶段

       预测模型的时候，每一个神经单元的权重参数要乘以概率p。
 

                                                           图5：预测模型时Dropout的操作

测试阶段Dropout公式：

3. 为什么说Dropout可以解决过拟合？

Hintion的直观解释和理由如下：　

1. 减少神经元之间复杂的共适应关系，强迫网络拥有冗余的表示：由于每次用输入网络的样本进行权值更新时，隐含节点都是以一定概率随机出现，因此不能保证每2个隐含节点每次都同时出现，这样权值的更新不再依赖于有固定关系隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。

2. 可以将dropout看作是模型平均的一种。对于每次输入到网络中的样本（可能是一个样本，也可能是一个batch的样本），其对应的网络结构都是不同的，但所有的这些不同的网络结构又同时share隐含节点的权值。这样不同的样本就对应不同的模型，是bagging的一种极端情况。个人感觉这个解释稍微靠谱些，和bagging，boosting理论有点像，但又不完全相同。

3. native bayes是dropout的一个特例。Native bayes有个错误的前提，即假设各个特征之间相互独立，这样在训练样本比较少的情况下，单独对每个特征进行学习，测试时将所有的特征都相乘，且在实际应用时效果还不错。而Droput每次不是训练一个特征，而是一部分隐含层特征。

4. 还有一个比较有意思的解释是，Dropout类似于性别在生物进化中的角色，物种为了使适应不断变化的环境，性别的出现有效的阻止了过拟合，即避免环境改变时物种可能面临的灭亡。

其他总结：

a、可以把dropout看成是 一种ensemble方法，每次做完dropout相当于从原网络中找到一个更瘦的网络

b、强迫神经元和其他随机挑选出来的神经元共同工作，减弱了神经元节点间的联合适应性，增强泛化能力

c、使用dropout得到更多的局部簇，同等数据下，簇变多了，因而区分性变大，稀疏性也更大

参考文章：深度学习中Dropout原理解析_Microstrong0305的博客-CSDN博客_dropout