三幅图简易说明神经网络的后向传播（Backward propagation）

作者：2023面试高手 | 2024-04-11 14:41:50

踩

神经网络的后向传播是在神经网络进行训练时，神经网络各层更新数值的方法。后向传播大致可以分为以下三种情况：
在节点处相加的情况：节点会将传入的梯度值直接向后传播。
在这里插入图片描述
在节点处相乘的情况：将输入端的值对调，并和传入的梯度值相乘。

在节点处进行函数变换：对函数求导，并和传入的梯度值相乘。特别的，如果 $g = m a x ()$ ，那么只有达到了max的x的分量会传出梯度值，其它分量传出的梯度值均为0。
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/405573