机器学习面试题：为什么DL中Dropout有效？

面试题：为什么DL中的Dropout有效？

简单回答：

防止参数过分依赖训练数据，增加参数对数据集的泛化能力。

从以下多个角度详细解释

1. Dropout可以被认为是集成大量深层神经网络的实用的Bagging方法，减少模型复杂度，提高泛化能力。

2. Drop out可以减少神经元之间复杂的共适应关系，因为Dropout使得某两个神经元不一定每次都在一个子网络结构中出现。基于此权值的更新不在依赖于固定关系的隐含节点的共同作用，使得了在丢失某些特定信息的情况下依然可以从其它信息中学到一些模式(鲁棒性)，迫使网络去学习更加鲁棒的特征（更加具有通适性）。

3. 从进化论的角度

(有性生殖)从长远来看，自然选择的标准可能不是个体，而是基因的混合能力。一组基因能够与另一组随机基因良好协作的能力使它们更加健壮。由于基因不能依赖大量的伴侣在任何时候出现，它必须学会自己做一些有用的事情或与少数其他基因合作。根据这一理论，有性生殖的作用不仅仅是让有用的新基因在整个种群中传播，而且还通过减少复杂的共同适应来促进这一过程，从而减少新基因改善基因的机会。类似地，Dropout训练的神经网络中的每个隐藏单元必须学会使用随机选择的其他单元样本。这应该使每个隐藏单元更加健壮，并推动它自己创建有用的功能，而不依赖于其他隐藏单元来纠正其错误。但是，网络中的隐藏单元仍然会学会彼此做不同的事情。

参考文献：

https://zhuanlan.zhihu.com/p/76636329

https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/81976571

https://blog.csdn.net/qq_19672707/article/details/88740832

转自： 机器学习算法面试

推荐阅读：
 
面试题库整理：
 
https://github.com/chehongshu/machine-learning-interview-chinese
其他文章阅读
 
我的2022届互联网校招分享
 
我的2021总结
 
浅谈算法岗和开发岗的区别
 
互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！
 
公众号：AI蜗牛车
 
保持谦逊、保持自律、保持进步
 
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
 
发送【AI四大名著】获取四本经典AI电子书