BP算法推导_从结果如何推导函数权重

                BP算法推导
1

在看这篇文章之前，建议先读一下这篇博客：
http://blog.csdn.net/zhongkejingwang/article/details/44514073
我的这一篇文章是根据上一篇博主的思想来推导的，所以会有一些重复。
接下来就进入正文了，我会以图片和一些简单的说明来逐步推导。
首先是一些定义：

先进行的是第二层权重的推导：

其结果为其权重的梯度

再进行的是第一层权重的推导：

结果为其第一层权重的梯度。

最后是我写的matlab 的BP算法，有兴趣的可以看一下。

function [ y1,y2 ] = BP_true( w1,w2,train_data,index1,index2 )  
%从index1到index2是训练数据从index1训练到index2停
%这个是2,3,1的神经BP算法
%输入的train_data一行对应第一、二列为输入值，第三列输出值
%w1,w2分别是第一层权重、第二层权重
%注意w2要多输入一个权重，为与bias相匹配
global weight1;
global weight2;
global data;
global back_in2;back_in2=zeros(1,3);%第二层激活函数的导数
global out2;out2=zeros(1,4);%第二层激活函数的输出值

out2(4)=1;%这个为bias，这个的作用类似y=a*x+b中的b

weight1=w1;
weight2=w2;
data=train_data;

for index=index1:index2
    subfun(index);
end
y1=weight1;
y2=weight2;

end

function subfun(index)
%这个是2,3,1的神经BP算法
%i对应第一层，j对应第二层，k对应第三层
global weight1;
global weight2;
global data;
global back_in2%第二层激活函数的导数
global out2%第二层激活函数的输出值

syms x;
f(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x));
%采用此激活函数可以用来训练那些在-1与1之间波动的二分类问题，其他问题可        %能要采用的激活函数不一样
g(x)=diff(f(x));%f(x)的导数

for j=1:3
    temp=0;
    for i=1:2
        temp=temp+data(index,i)*weight1(i,j);
    end
    back_in2(j)=g(temp);
    out2(j)=f(temp);
end

in3=out2*weight2;
back_in3=g(in3);
e=f(in3)-data(index,3);% e 是误差

%接下来是反向输出

%先更新weight2
a=0.1;%这是步长，可以根据情况来改变
for j=1:4
    weight2(j,1)=weight2(j,1)-a*e*back_in3*out2(j);
end


for i=1:2
    for j=1:3
        weight1(i,j)= weight1(i,j)-a*e*back_in2(j)*back_in3*data(index,i)*weight2(j,1);
    end
end

end




1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74