练习推导一个最简单的BP神经网络训练过程【个人作业/数学推导】

写在前面：

各式资料中关于BP神经网络的讲解已经足够全面详尽，故不在此过多赘述。本文重点在于由一个“最简单”的神经网络练习推导其训练过程，和大家一起在练习中一起更好理解神经网络训练过程。

一、BP神经网络

1.1 简介

BP网络（Back-Propagation Network） 是1986年被提出的，是一种按误差逆向传播算法训练的
多层前馈网络，是目前应用最广泛的神经网络模型之一，用于函数逼近、模型识别分类、数据压
缩和时间序列预测等。
一个典型的BP网络应该包括三层:输入层、隐藏层和输出层。各层之间全连接，同层之间无连接。
隐藏层可以有很多层。
 

1.2 训练(学习)过程

每一次迭代(Interation)意味着使用一批(Batch)数据对模型进行一次更新过程，被称为“一次训练”，包含一个正向过程和一个反向过程。

具体过程可以概括为如下过程：

1. 准备样本信息(数据&标签)、定义神经网络(结构、初始化参数、选取激活函数等)
2. 将样本输入，正向计算各节点函数输出
3. 计算损失函数
4. 求损失函数对各权重的偏导数，采用适当方法进行反向过程优化
5. 重复2~4直至达到停止条件

以下训练将使用均值平方差（Mean Squared Error， MSE）作为损失函数，sigmoid函数作为激活函数、梯度下降法作为优化权重方法进行推导
 

二、实例推导练习作业

2.1 准备工作

1. 第一层是输入层，包含两个神经元： i1， i2 和偏置b1
2. 第二层是隐藏层，包含两个神经元： h1， h2 和偏置项b2
3. 第三层是输出： o1， o2
4. 每条线上标的 wi 是层与层之间连接的权重
5. 激活函数是 sigmod 函数
6. 我们用 z 表示某神经元的加权输入和，用 a 表示某神经元的输出

2.2 第一次正向过程【个人推导】

根据上述信息，我们可以得到另一种表达一次迭代的“环形”过程的图示如下：

我们做一次正向过程(由于需多次迭代，因此我们将第一次正向过程标记为t=0)，得各项数值如下：

由此我们可得损失函数值为MSE=0.298371109，假设这超出了我们对损失值的要求，那么我们就需要对各个权重(wi,t=0)进行更新， 作为t=1的初始权重。

2.3 推导计算∂/∂wi【个人推导】

2.3.1 均值平方差损失函数的全微分推导

2.3.2 这一次代入训练实例的数值和各数量名

d

d

d

dM

d

2.3.3 由此我们得到∂/∂wi的表达式

当然如果你喜欢用矩阵表示也可以：

 【2022.06.06 update】

更新一个矩阵化表示的方式：

 

 相较于最初的矩阵表达，本次更新的表达更有利于编程的代码实现。

​​​​​​​

2.4 根据∂/∂wi梯度下降法优化wi【个人推导】

根据梯度下降法，设置学习率α=0.5，计算出wi,t+1，然后重新进行下一次正向过程。(可以将该过程在Excel中轻易实现，下表中为迭代数据截取)

可以看到，经过10001次迭代之后MSE(t=10001)=3.51019E-05已经足够小，可以停止迭代完成1代训练。