【Coursera】优化的梯度下降算法 RMSprop & Adam & Lr decay_梯度相关方法,如adam、lrdecay

作者：繁依Fanyi0 | 2024-05-05 12:24:15

踩

梯度相关方法,如adam、lrdecay

RMSprop

RMSprop（均方根传递）是指数滑动平均（exponentially weighted average）的改编，用于降低梯度下降和小批量梯度下降中的振荡，加速机器学习训练，即下图绿色的线。

在这里插入图片描述
这里的 $S_{dw}$ 值得是 $dw^{2}$ ,这种训练方法更新的是方差，虽然走的很平稳，但是还不如下面介绍的 Adam 算法好。

Adam 算法把 RMSprop 和 momentum 结合起来了。

在这里插入图片描述

在这里插入图片描述

随着训练进程，调整 learning rate 逐渐变小。

在这里插入图片描述
下面介绍最简单的 learning rate decay：

在这里插入图片描述
还有别的 decay 方法：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/538861