BP神经网络原理及其实现_tansig函数和purelin函数 出处

BP神经网络原理及其实现

摘要：

本文围绕BP神经网络原理及其算法实现进行论述。
首先简单介绍人工神经元的概念；
基于此，论述BP神经网络算法的原理及公式推导过程，为了便于理解BP网络工作过程，基于公式推导过程，重点论述正向传播与反向传播过程，；
并给出其中一些关键概念，如激活函数意义等；
最后，利用MatLab工具，给出BP神经网络的应用案例。

1 背景及概念

感知器（Perceptron）

感知器由Frank Roseblatt 于1957年提出，是一种广泛使用的线性分类器。感知器可谓是最简单的人工神经网络，只有一个神经元。

人工神经元

人工神经元是人工神经网络的基本信息处理单元,它是对生物神经元的简化和模拟。人工神经元的简化模型如图所示,其中,xi为输入信号,theta/θ为阈值,权值w,表示连接的强度, y为输出信号。

2 BP神经网络算法

2.1 简介

BP人工神经网络由输入层、隐含层和输出层3层组成,其结构如图所示。在结构确定之后,要通过输人和输出样本集对网络进行训练,即通过一边向后传递误差一边修正误差的方法来不断地调节网络参数(权值和阈值),以使网络实现或逼近所希望的输入、输出映射关系。

BP网络的学习过程分为以下两个阶段:

• 第1个阶段是正向传播过程,输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第1层向后计算各神经元的输出。
• 第2个阶段是反向传播过程,逐层计算实际输出与期望输出之间的差值,据此对各权值和阈值进行修改使误差信号趋向最小。

以上两个过程反复交替,直至收敛为止。由于误差逐层往回传递,用来修正层与层之间的权值和阈值,所以称该算法为误差反向传播算法,这种误差反向传播学习算法可以推广到有若干个中间层的多层网络,因此这种多层网络常称为BP网络。标准的BP算法学习规则是一种梯度下降学习算法,其权值的修正是沿着误差性能函数梯度的反方向进行的。

2.2 算法原理

BP (Back Propagation) 神经网络的核心步骤如下。其中，实线代表正向传播，虚线代表反向传播。

2.3 公式

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/679367