ReLu 和 Dropout的疑问_relu dropout

作者：我家自动化 | 2024-02-28 20:44:28

踩

relu dropout

Relu = if(x>0) then x; else 0
作用就是把隐藏层结果小于0的因子剔除
使得结果非线性
Dropout ： h在一定概率p(超参数自己调节)下为0
h在1-p的概率下为h/(1-p)
同样是使得某些因子失效，可以防止过拟合
Dropout 只在多层感知机上面用

我就在想两者作用是不是都一样，因为都是让一些因子为0失去作用
但是两者还是有区别的：

Relu 是固定
dropout 是随机
而且dropout 有缩放功能
relu 没有

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/161635?site