随机梯度下降与梯度下降的区别？

作者：我家自动化 | 2024-03-26 19:06:29

踩

随机梯度下降与梯度下降的区别？

如果你还不了解梯度下降请参考：知乎@Ai酱：{高中生能看懂的}梯度下降是个啥？。

随机梯度下降与梯度下降之间有什么区别？

假设你已经懂了梯度下降的原理与公式。接下来我会举个例子来讲随机梯度下降与梯度下降的区别。
假如损失（误差）函数对参数w的导数是 $x (w x - l a b e l)$ ，然后我们需要更新的参数是 $w$ ，学习率是 $\alpha$ 。
现在有一堆数据 ${(x_1,label_1),(x_2,label_2),(x_i,label_i),(x_n,label_n)}$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/319065