深度学习基础21（Dropout）_dropout扰动

丢弃法（Dropout）

我们为什么要使用丢弃法？

• 一个好的模型需要对输入数据的扰动鲁棒

丢弃法：在层之间加入噪音

无偏差加入噪音

• 对x加入噪音得到x’ 我们希望E[x’]=x，x的期望不变

• 丢弃法对每个元素进行如下扰动

这样可以保证x的期望不变

使用丢弃法

• 通常将丢弃法作用在隐藏全连接层的输出上

  

正则项只在训练中使用：只影响模型参数的更新

重新审视过拟合

当面对更多的特征而样本不足时，线性模型往往会过拟合。 相反，当给出更多样本而不是特征，通常线性模型不会过拟合。

但线性模型泛化的可靠性是有代价的。 线性模型没有考虑到特征之间的交互作用。

对于每个特征，线性模型必须指定正的或负的权重，而忽略其他特征。

泛化性和灵活性之间的这种基本权衡被描述为偏差-方差权衡（bias-variance tradeoff）。

线性模型有很高的偏差：它们只能表示一小类函数。 然而，这些模型的方差很低：它们在不同的随机数据样本上可以得出相似的结果。

深度神经网络位于偏差-方差谱的另一端。

与线性模型不同，神经网络并不局限于单独查看每个特征，而是学习特征之间的交互。

例如，神经网络可能推断“尼日利亚”和“西联汇款”一起出现在电子邮件中表示垃圾邮件， 但单独出现则不表示垃圾邮件。

扰动的稳健性

我们期待“好”的预测模型能在未知的数据上有很好的表现： 经典泛化理论认为，为了缩小训练和测试性能之间的差距，应该以简单的模型为目标。 简单性以较小维度的形式展现， 比如在权重衰减（声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】