【pytorch15】链式法则

作者：繁依Fanyi0 | 2024-07-09 18:27:14

踩

【pytorch15】链式法则

在这里插入图片描述
x到u再到y，可以理解为x是输入，中间层hidden layer 是u，最后y是pred

在这里插入图片描述
对于一个简单的线性层可以展开得到y的表达式，但是对于实际的神经网络还要加上激活函数，此时展开就非常的复杂，不能够一次到位，因此使用链式法则一步步展开，通过链式法则会让求导的过程变得比较简单，而且每一个中间过程可能已经有了中间的结果所以用链式法则会让神经网络的求解变得非常清晰和简洁

在这里插入图片描述
把一个比较复杂不知道如何展开求导的式子，链式法则成3个偏导，对每一步再进行求解再乘积，可以完成对复杂函数偏微分

在这里插入图片描述
发现通过链式法则和直接使用pytorch自动求导功能是完成匹配的

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/803312