sigmoid函数_CNN卷积神经网络入门（二）：激活函数

CNN卷积神经网络入门(一)：何为CNN

知道了什么是CNN后，将介绍一系列预备知识。先从激活函数开始吧。

激活函数(Activation Function)

激活函数，顾名思义，本质上是函数，进行自变量(输入)向因变量(输出)的转化。作用是“激活”。

理论上激活函数既可以是线性的，例如f(x)=x，也可以是非线性的。实际上一般选用非线性的激活函数。为什么选用非线性的？“激活”什么？如何选用？且是后话。

常见激活函数

• sigmoid函数

可以发现，该曲线在-2~2之间较陡峭，趋紧于无穷大时较平缓。意味着输入比较小时，一点微小的扰动会带来较大的输出变化；输入比较大是，输出对输入变化不敏感。

我们希望激活函数的均值是0。可惜sigmoid函数的均值是0.5。

• Tanh函数

比较Tanh函数图像和sigmoid函数图像，会发现二者非常相似。实际上Tanh函数就是sigmoid函数的伸缩、平移变换。

Tanh函数的均值是0，这是它比sigmoid函数好的地方。

• Relu函数

它的名字看起来很高大上，然而它的表达式很简单：Relu=max(0,x)

它的表达式如此简单，计算速度要比前两者快很多。

特征

我们希望激活函数具有以下特征：

1. 非线性。
2. 处处可导。
3. 单调。
4. 有限的值域。

Relu函数不满足第二点，因为它在x=0处不可导。不过这无伤大雅，可以通过其他方法解决这个问题。