激活函数Relu 及 leakyRelu

作者：你好赵伟 | 2024-02-27 23:58:02

踩

leakyrelu

Relu 及 leakyRelu是深度学习中常用的激活函数，看了几篇博客后，做一个小的总结。

1. Relu：

数学表达式：a = max(0, z)

函数图像为：

优点：由上图可以看出，Relu得到的SGD的收敛速度较快

缺点：训练的时候很容易‘die'了，对于小于0的值，这个神经元的梯度永远都会是0，在实际操错中，如果learning rate很大，很可能网络中较多的神经元都'dead'了，即使是较小的learning rate，这种情况也很有可能发生。

为了解决以上的问题，提出了leakyRelu激活函数：

2. leakyRelu：

数学表达式：y = max(0, x) + leak*min(0,x) （leak是一个很小的常数，这样保留了一些负轴的值，使得负轴的信息不会全部丢失）

leakyRelu的图像：

3. 在tf中的实现：

Relu在tf中有官方的实现，可以直接调用函数 tf.nn.relu( features, name= None )

leakyRelu的简单实现可以这么写： tf.maximum(leak * x, x),

比较高效的写法为：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/156609