神经网络中激活函数选择法则_激活函数的选取准则

作者：IT小白 | 2024-04-26 01:55:45

踩

激活函数的选取准则

激活函数选择法则：
1.首先尝试ReLU,速度快,但要注意训练的状态.
2.如果ReLU效果欠佳,尝试Leaky ReLU或Maxout等变种。
3.尝试tanh正切函数(以零点为中心,零点处梯度为1)
4.sigmoid/tanh在RNN（LSTM、注意力机制等）结构中有所应用，作为门控或者概率值.
5.在浅层神经网络中，如不超过4层的，可选择使用多种激励函数，没有太大的影响。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/488349