神经网络的激活函数

目录

神经网络 

激活函数 

sigmoid 激活函数

tanh 激活函数

backward方法 

relu 激活函数 

softmax 激活函数

神经网络 

人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的 计算模型。人脑可以看做是一个生物神经网络，由众多的神经元连接而成。各个神经元传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号。

人工神经网络

每一个神经元都是＝g(w1x1 + w2x2 + w3x3...) ，即先对输入求和，再对其激活