人工智能 | BP神经网络_bp神经网络模型

BP（back propagation）神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一。

上面这段是官方对BP神经网络的定义，只有这句“按照误差逆向传播算法训练的多层前馈神经网络”点出了BP神经网络的特点，需要理解的重点按照先后顺序排列如下：

1. 多层神经网络是什么？

2. 误差如何定义？

3. 算法用哪个？

4. 逆向和前馈是什么？

5. 如何训练？

 

一、最简单的神经网络——感知机

“神经元”这个概念来自于生物学，在人工智能领域引申成了一种类比，指的是连接输入和输出的最小单位，当输入达到一定水平或者有一定类型的输入产生时，神经元就给出输出。所以，神经元可以看成是只有输入和输出的数学模型。

最简单的神经网络可以只包含一个神经元，如下图1所示，这种网络通常被称为感知机（Perceptron）。感知机是一种二分类算法，由Frank Rosenblatt在1957年提出，它是神经网络和机器学习领域中的一个基础模型。

图中x是输入，w是权重，b是偏置，经过一个激活函数f得到最终输出y，图中只画出了2路输入，实际可以有n路输入，感知机的输出y可以通过公式（1）计算：

                         （1）

 

二、多层神经网络的灵魂——激活函数

    神经元不是独立存在的，它们彼此之间也有联系，多个神经元联系在一起构成了神经网络，网络级联起来，就构成了多层神经网络，以最简单的两层神经网络为例，其结构如下图2所示：

                            （2）

因此网络中引入了激活函数，加入激活函数之后，公式（2）就变成了公式（3）和（4）:

                            （3）

                             （4）

这样网络中就有了非线性因素，这样就可以应用到非线性模型中，常用的激活函数有以下几种：

Sigmoid：当输入趋近于正无穷/负无穷时，输出无限接近于1/0。

                             （5）

tanh：与Sigmoid函数很像，tanh输出是[-1,1]，是0均值的，实际应用中会比Sigmoid好。

             （6）

ReLU：全称是Rectified Linear Units，当输入小于0时，输出为0，当输入大于0时，输出等于输入。

                           （7）

以上3个激活函数挑一个放进图2中，一个两层神经网络就搭建好了，如果是已经训练好的网络，也就是说已经得到了稳定的w_ij、b_i、v_ik和c_k，那么该网络就可以投入使用了，用户自定义输出，网络给出答案，但是如果是正在建设中的网络，此时w_ij、b_i、v_ik和c_k是未知的，则还需要经过“训练”这一步。

三、误差——训练的标杆

神经网络是没有智商的，它需要经过多次“学习”才可以作出正确的判断，那如何确认学习的是否正确呢？当然是和标准答案做对比，就像考试一样，答对了加分，答错了扣分。为了衡量输出离标准答案有多远，定义“误差”作为学习标准，误差越小说明学习效果越好。

从图2可以想到，假设标准答案是t=（1,0,0,0），则输出ak和标准答案之间的误差为（ak-tk），但是一般会写成式（8）的样子，前面的1/2是为了求导后抵消平方的，这个E也被称为损失函数（Loss Function）。

                          （8）

到这里，神经网络的训练任务就变成了，找到一组最佳的w和b，使得E最小。要让E能调整w和b，这就需要往前一层一层的传递某种变量，用专业的词来说就是“逆向”和“前馈”。

此外，图2中不同的激活函数得到的结果是不一样的，如果选择sigmoid，输出范围为[0，1]，如果选择tanh，输出是[-1，1]，如果选择ReLU，输出是[0，+∝]，这意味着，为了匹配不同的输出，标准答案还得改格式？

倒也不用这么麻烦，把输出统一成指定格式就可以了。

常用的做法是在输出这里使用Softmax函数把输出映射到（0，1）区间，也就是概率范围，最终得到类似（0.85,0.1,0.02,0.03）这样的结果，0.85比其他三个都大，说明结果可信。使用概率不仅可以得到结果，还能知道最优解是多少，Softmax函数如（9）所示：

         （9）

用（9）求出的结果中，所有元素的和一定为1，且每个元素可以代表概率值，此时图2中的神经网络可以进化一下，把“逆向”、“前馈”和Softmax都加进去，图2变成了图4。

 

四、梯度下降——寻求最优解

    

图2是个两层的网络，用曲面更容易理解梯度下降的意义。假设楼主带着一个铅球去爬山，到了山顶上，先把铅球沾满粉笔灰然后往山下一扔，粉笔灰描绘出的路径就是铅球最快到达山底的路线，这就是神经网络梯度下降追求的最优路径。就算楼主自己往山下走，也不会走出比铅球更佳的路径，这是为什么呢？因为受重力影响，铅球大概率是沿着坡度最陡的角度下去的，这个最陡的方向，就是神经网络中梯度下降想找到的参数的调整方向。

现在要用数学来描述这个过程，就是是对损失函数E分别求w_ij、b_i、v_ik和c_k的一阶导，得到输出层和隐藏层的误差梯度：

                        （10）

接下来就可以得到输出层和隐藏层的权重和偏置，其中η为学习率，它的意思是每次更新多少进参数中，前面的负号是因为现在要求的是下降的梯度，它是梯度上升的反方向。

                                    （11）

                                  （12）

从（11）和（12）的公式可以看出，w_ij只和输出层有关，但是v_ik不仅和输出层有关，还和隐藏层有关，另外公式中的f1、f2求导和选择的激活函数有关，选择哪个激活函数，就套用其求导结果。

 

五、总结

到这里已经可以重新描述BP神经网络的定义了，官方的说法是“按照误差逆向传播算法训练的多层前馈神经网络”，白话版是“拥有2个以上的权重矩阵，通过最小化误差多次调整权重，最终获得稳定参数的可定制的黑盒子”。“可定制”指的是网络中的输入输出个数、隐藏层数、激活函数和寻求最优解的算法都是可以根据实际情况选择的。