常用激活函数理解与总结_激活函数公式

什么是激活函数

神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。

为什么需要激活函数

如果没有激活函数，不管神经网络有多少层，输出都是输入的线性组合，这样的神经网络拟合能力有限。而引入非线性的激活函数后，神经网络不再是线性的，而可以逼近任意函数，因此其表达能力会更加强大。

常用激活函数

常用激活函数有Sigmoid函数、tanh函数、Relu函数、Leaky ReLU函数、ELU (Exponential Linear Units) 函数、MaxOut函数等。

Sigmoid函数

函数解析式：$f(z)=\frac{1}{1+e^{-z}}$

特点：
Sigmoid函数能够把输入的连续实值变换为0和1之间的输出。如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。

缺点：

1. 在神经网络中梯度反向传播时容易梯度消失。
2. 函数输出不以0为中心，会降低权重更新的效率。
3. 解析式中含有幂运算，会增大网络训练时间。

tanh函数（双曲正切）

函数解析式：$\tanh ($