RMSprop与Adam算法_rmsprop adam

作者：运维做开发 | 2024-07-26 18:07:29

踩

rmsprop adam

其基本思想和动量梯度下降法一样，也是为了消除梯度下降时纵轴方向的摆动而尽量不太影响水平轴，然后我们使用更大的learning rate 来高效的优化模型.
在这里插入图片描述

这里我们使用参数w来表示水平方向参数b来表示竖直方向那么 RMSprop的实现过程就是：

On iteration t:

compute dw,db on every mini-batch

$S_{d_w}=\beta_2 S_{dw}+(1-\beta_2){d_w}^2$

$S_{d_b}=\beta_2 S_{db}+(1-\beta_2){d_b}^2$

$\omega=\omega-α\frac{d_w}{\sqrt{S_{dw}}}$

$b=b-α\frac{db}{\sqrt{S_{db}}}$

其原理就在于当摆动较大时，说明dw较大，所以后面参数w就会减少的更多而db较小

后面也基本不会发生什么变化

这里的w和b这是我们设定的一个参数，实际使用过程中，我们需要建立的直觉是哪些参数是纵向相关的，哪些参数是横向相关的，然后对其使用根均值平方方法.

一个实现的细节是： $\omega=\omega-α\frac{d_w}{\sqrt{S_{dw}}+\epsilon}$

$\epsilon 被加上的原因是保持数值的稳定性，防止其除以了一个过于接近0的数$

$其一个较为合理的值是10^{-8}$

将两个算法结合在一起，可以有效地适应不同的神经网络结构

在这里插入图片描述

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/运维做开发/article/detail/886540