几种激活函数详解

在卷积神经网络（CNN）和其他形式的神经网络中，激活函数层（Activation Function Layer）是至关重要的组成部分。激活函数的作用是在网络的线性流程中引入非线性因素，这使得网络能够学习和模拟复杂的输入与输出之间的关系，例如识别图像中的模式或进行复杂的决策。没有激活函数，神经网络将无法捕获这些复杂的关系，只能执行简单的线性任务。

常用非线性映射函数

        Sigmoid(S形函数)

        Tanh(双曲正切,双S形函数)

        ReLU

        Leaky ReLU

        ELU

        Maxout

1 Sigmoid(S形函数)

1 sigmoid在取值大于4或者小于-4的时候，梯度趋近于0，会导致在反向传播中，使参数梯度也趋于0，被称为"死神经元"

2 因为sigmoid函数的取值永远大于0，没有负数，所以没有0中心化

2 Tanh(双曲正切,双S形函数)

缺点类似于sigmoid函数

3 ReLU

在使用ReLU激活函数的神经网络中，一旦某个神经元的输入值变为负数，该神经元在ReLU下的输出将为零。由于ReLU函数在输入小于零时的梯度也为零，这意味着在反向传播过程中，该神经元对权重的更新不会有贡献。因此，对于这个神经元来说，一旦进入这种“死亡”状态，它在后续训练过程中很难被“复活”，即其输入值很难再次变为正数。

4  Leaky ReLU

5 ELU

6 一般使用

激励层建议：

CNN尽量不要使用sigmoid， 如果要使用， 建议只在全连接层使用

首先使用ReLU， 因为迭代速度快， 但是有可能效果不佳

如果使用ReLU失效的情况下， 考虑使用Leaky ReLu或者Maxout， 此时一般情况都可以解决啦

tanh激活函数在某些情况下有比较好的效果， 但是应用场景比较少