人工智能/机器学习基础知识——反向传播_反向传播你不得不了解的小知识

Backpropagation Algorithm

李宏毅

反向传播算法，分为两个部分：Forward pass和Backward pass

• 设$$L(w_1,w_2,w_3,...,w_n)$$为Loss函数，$$z=x_1{w}_1+x_2{w}_2+b$$为前向传播（Forwardpropagation）公式，$$a=\sigma (z)$$为激活函数，代表下一个神经元的值。

• 由以上假设，根据梯度下降法，需计算出每个权重$w_i$对于损失函数$L$的偏导，然后进行参数更新，即$$\frac{\partial L}{\partial w_i}$$这种方式在参数量较少，网络结构不复杂的情况下很容易便可求得。但在复杂网络如神经网络中，损失函数$L$是一个包含千百万数量级参数的一个复合函数，想要直接对某个$w_i$求得偏导比较困难。所以，反向传播简化了这一直接求偏导的过程，利用链式法则间接反向逐步求得每个参数$w_i$的偏导，实现梯度传播以及参数更新。

• Forward pass：
  根据链式法则简化上述求导公式：$$\frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial w_1}$$公式右边后半部分可以直接求得：$$\frac{\partial z}{\partial w_1}=x_1$$所以，原式可简化为：$$\frac{\partial L}{\partial w_1}=x_1\frac{\partial L}{\partial z}$$

• Backward pass：
  对$$\frac{\partial L}{\partial z}$$进一步分解得到：$$\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\frac{\partial a}{\partial z}$$该式右边后半部分$$\frac{\partial a}{\partial z}={\sigma }^{\prime }(z)$$由于激活函数都是已知的，所以该项也可以很容易算出。所以原式变为：$$\frac{\partial L}{\partial z}={\sigma }^{\prime }(z)\frac{\partial L}{\partial a}$$假设该节点后继续通过两个分支连着一个神经元（如图），则可进一步得到：$$\frac{\partial L}{\partial z}={\sigma }^{\prime }(z)[\frac{\partial L}{\partial z^{\prime }}\frac{\partial z^{\prime }}{\partial a}+\frac{\partial L}{\partial z^{\prime \prime }}\frac{\partial z^{\prime \prime }}{\partial a}]$$由于此时$$z^{\prime }=a{w}_3+b^{\prime }$$$$z^{\prime \prime }=a{w}_4+b^{\prime \prime }$$所以，原式可简化为：$$\frac{\partial L}{\partial z}={\sigma }^{\prime }(z)[w_3\frac{\partial L}{\partial z^{\prime }}+w_4\frac{\partial L}{\partial z^{\prime \prime }}]$$从而有：$$\frac{\partial L}{\partial w_1}=x_1\frac{\partial L}{\partial z}=x_1{\sigma }^{\prime }(z)[w_3\frac{\partial L}{\partial z^{\prime }}+w_4\frac{\partial L}{\partial z^{\prime \prime }}]$$
  该式为反向传播算法核心公式，其表明了当前神经元上参数的梯度可由后一个神经元上参数的梯度求得。所以，只要从输出层算起，就可以一步步反向推出前面各层的参数梯度。

自动求导

人工计算麻烦，框架内自带自动求导

数值微分

Numerical Differentiation

• 用数值方法来计算函数

  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/910151