机器学习基础篇-学习率衰减_机器学习时学习率怎么衰减

作者：你好赵伟 | 2024-04-01 17:57:26

踩

机器学习时学习率怎么衰减

学习率衰减的方法

如果在模型训练期间学习率是固定的，则loss可能会如下图所示波动。所以如何找到使学习率自适应的方法显得至关重要。
在这里插入图片描述
在实际训练中，根据epoch的次数降低学习率是一种比较直接的方法，下面是衰减的公式：
$\alpha= \frac{1}{1+DecayRate*EpochNumber}*\alpha_0$

根据以上公式，下面举个例子，假设初始学习率α_0，衰减率为1，那么学习率随着epoch的增加效果如下：

Epoch	α
1	0.1
2	0.067
3	0.05
4	0.04

当然，我们这里还有一些别的衰减方法
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/349736