深入理解dropout(原理+手动实现+实战)_dropout实现

作者：笔触狂放9 | 2024-07-14 21:27:50

踩

dropout实现

在这篇博客中你可以学到

什么是dropout
dropout为什么有用
dropout中的多模型原理
手动实现dropout
在pytorch中使用dropout

当训练一个深度神经网络时，我们可以随机丢弃一部分神经元（同时丢弃其对应的连接边）来避免过拟合，这种方法就称为dropout(丢弃法)。

每次选择丢弃的神经元是随机的．最简单的方法是设置一个固定的概率 p．对每一个神经元都以概率 p 随机丢弃（即置0），其原理如下：
在这里插入图片描述
上图，Bernoulli是概率p的伯努利分布，取值为0或1，即该分布中的每一个元素取值为0的概率是p， $y_{}^{\left( l \right)}$ 表示第 $l$ 个全连接层（或卷积层），x是特征向量

在没有使用dropout的情况下，第 $l$ 层的神经元的值经过线性（或卷积）运算后，通过激活函数输出。

如果使用了dropout，第 $l$ 层的神经元的值乘上概率为p的Bernoulli分布，假如第 $l$ 层有10个神经元，那么产生的Bernoulli分布可能是

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/826343