赞
踩
可以试用编写的Python脚本,该脚本在此Github存储库中实现了反向传播算法。
反向传播代码:https://github.com/mattm/simple-neural-network
要获得显示神经网络的交互式可视化效果,请查看神经网络可视化:
http://www.emergentmind.com/neural-network
在本教程中,我们将使用具有两个输入,两个隐藏的神经元,两个输出神经元的神经网络。另外,隐藏和输出的神经元将包括偏差。
基本结构如下:
为了获得一些数字,下面是初始权重,偏差和训练输入/输出:
反向传播的目标是优化权重,以便神经网络可以学习如何正确地将任意输入映射到输出。
对于本教程的其余部分,我们将使用单个训练集:给定输入0.05和0.10,我们希望神经网络输出0.01和0.99。
首先,让我们看看在上述权重和偏差以及输入为0.05和0.10的情况下,神经网络目前预测的结果。
为此,我们将通过网络提供这些输入。我们计算出每个隐含层神经元的总输入,使用激活函数(这里我们使用逻辑函数)压缩总输入,然后对输出层神经元重复这个过程。
现在,我们可以使用平方误差函数计算每个输出神经元的误差,并对它们求和以获得总误差:
该1/2包括在内,以便我们以后区分该指数被取消。无论如何,最终结果还是要乘以学习率,因此我们在此处引入常数[ 1 ] 都没关系。
我们反向传播的目标是更新网络中的每个权重,以便它们使实际输出更接近目标输出,从而将每个输出神经元和整个网络的误差最小化。
输出层
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。