深度学习学习率调整的六种方法_学习率怎么调

作者：从前慢现在也慢 | 2024-04-07 12:55:25

踩

学习率怎么调

作用：等间隔调整学习率

2、lr_scheduler.MultiStepLR

作用：按设定的间隔调整学习率。这个方法适合后期调试使用，观察loss曲线，为每个实验定制学习率调整时机。

3、lr_scheduler.ExponentialLR

作用：按照指数格式对学习率进行调整

4、lr_scheduler.CosineAnnealingLR

作用：以余弦的形式对学习率进行调整

5、lr_scheduler.ReduceLROnPlateau

作用：当某指标不再变化（下降或升高），调整学习率，这是非常实用的学习率调整策略。例如，当验证集的loss不再下降时，进行学习率调整；或者监测验证集的accuracy，当accuracy不再上升时，则调整学习率。

6、lr_scheduler.LambdaLR

作用：为不同参数组设定不同学习率调整策略。调整规则为，lr = base_lr * lmbda(self.last_epoch) 。

特此记录学习一下

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/378746