赞
踩
目录
前向传播:得到输出。
反向传播:更新权重。
最后调整权重:
前向传播:从前往后,逐层计算。
前向传播目的:得到损失值。
1、先得到得分
2、把得分的差异放大(差异化,e^x)
3、归一化,得到概率
4、计算损失值
拿到数据之后,先经过得分函数,并不是经过一次变换,而是多次的变换。
从后往前,逐层求导,可以得到前一项的权重。
作用:更新模型,达到学习的效果。
从后往前传递梯度,得到新计算出来的权重。
例如:
三个求偏导意义分别是:x、y、z对 f(结果)的影响。
反向传播目的:优化权重参数(根据前向传播得到的损失值)。
反向传播:从后往前,逐层计算。
目的:为了让损失函数的值最小。
反向偏导也可以一大块一大块地求。
1、加法门单元(相加)
2、MAX门单元(取最大)
3、乘法门单元(相乘)
对这一部分进行分析:
为什么对w0求导,而不是x0?
x0是数据,不能随便改变,w0是权重,可以改变。
(上面是前向传播,逐层计算,得到损失;下面是反向传播,逆推逐层计算,更新权重)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。