深层神经网络中反向传播采用梯度下降法更新神经网络参数的原理解释_从微分角度理解梯度参数更新的原理

作者：IT小白 | 2024-08-23 06:55:56

踩

从微分角度理解梯度参数更新的原理

假设a为神经网络的参数（实际上代表W和b），f(x)表示在给定的参数取值下，训练数据集损失函数的大小，整个神经网络的优化过程可以抽象为寻找一个参数x，使f(x)最小。
在这里插入图片描述
其梯度是，在定义一个学习率n，来定义每次更新的幅度，也可以说是每次参数移动的幅度。由此得到参数的更新公式：
举个例子假设损失函数是,首先随机产生一个参数x的初始值，然后在通过梯度和学习率来更新参数x的取值。例子中梯度为x，假设参数的初始值为4，学习率为0.2，优化过程如下

在这里插入图片描述
通过这样一步步的训练，来更新参数

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/1019921