AI人工智能学习之激活函数_leaky_relu

因为数据的分布绝大多数是非线性的，一般神经网络的计算是线性的，那么引入激活函数，是在神经网络中引入非线性，就强化网络的学习能力。所以激活函数的最大特点就是非线性。而且能够使输出映射到有限区间之内，便于计算。能够使网络快速地收敛，计算效率高。

激活函数

激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

常用的激活函数

Sigmoid激活函数

sigmoid函数也叫Logistic函数，用于隐藏层的输出，输出在(0,1)之间，它可以将一个实数映射到(0,1)的范围内，可以用来做二分类。常用于:在特征相差比较复杂或是相差不是特别大的时候效果比较好。该函数将大的负数转换成0，将大的正数转换为1。函数公式如下：