梯度下降，随机梯度下降，小批量梯度下降的联系与区别_试说明梯度下降算法,随机梯度下降算法,小批量梯度下降算法之间的区别与联系

作者：凡人多烦事01 | 2024-03-26 19:00:08

踩

试说明梯度下降算法,随机梯度下降算法,小批量梯度下降算法之间的区别与联系

在深度学习中，因为我们通常的目标是使模型的损失达到最小。而目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向，因此我们常使用梯度下降系列的优化算法来迭代参数，减小损失。
下面介绍一下梯度下降，随机梯度下降，以及小批量梯度下降之间的联系与区别。
梯度下降：直接加载所有的样本进行训练，取每个样本对应特征的梯度的累积和，再除以样本个数。作为该次循环整个样本对应特征的迭代梯度。
在这里插入图片描述
随机梯度下降：每次训练加载对所有样本进行随机均匀采样得到的一个样本，利用该样本的特征来对目标函数进行迭代。这样做的好处是减小了每次迭代的计算开销。指的强调的是随机梯度 ∇

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/319028