深度学习成长之路（二）学习率（learning rate）的知识汇总_deep q learning 学习率

作者：Monodyee | 2024-02-23 10:54:10

踩

deep q learning 学习率

首先是找到的三篇不错的博客，看完收获很多。链接如下：

学习率（learning rate）属于调参过程的一部分，目前常见的是通过设置schedule，根据特定的规则更新学习率。常用的方式就是learning rate decay。当然在最近提出了增大batchsize来保持学习率的策略，在第三篇博客可以进行了解。

接下来，是自己读这三篇博客和论文的理解。

1、学习率属于需要设置的关键超参数，在最小化训练网络的损失函数时，学习率缩放了权重更新的幅度。学习率太低，训练速度会很慢；学习率太高，有可能梯度下降过程中直接跳过了最低点，训练变得发散。

2、新知识点损失函数地图（loss landscape）论文地址。用来可视化损失函数的曲率，得到三维立体图形，研究多种因素（网络架构，各种超参数，优化器等）对损失函数形态的影响。

3、设置最优的学习率，是为了损失函数下降的最快。一共有三种阶段，损失函数基本不动（lr低），损失函数下降最

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/135868