吴恩达2022机器学习专项课程(一） 5.8 学习率的选择

作者：不正经 | 2024-04-14 21:14:14

踩

问题预览/关键词

梯度下降不正常工作的曲线是什么样子？
如何调试学习率来检测代码中的bug？
学习率过小的后果是？
如何选择学习率？

笔记

1.曲线错误的样子

曲线没有逐步递减，由于学习率选择过大或代码有bug。
在这里插入图片描述

2.调试学习率检测代码

将α设置成一个很小的数，看看每次迭代成本函数是否减小，如果依旧不减小，则代码有问题。

3.学习率过小

梯度下降需要更多次迭代来收敛，影响性能。

4.选择学习率

先尝试0.001，然后乘3倍选择呢0.003，依次尝试，直到曲线变的合适且最大或比最大小一点的α。
在这里插入图片描述

总结

学习率不是直接获取的，我们需要尝试不同的数值，通过绘制迭代次数-成本函数曲线，来检测α的值是否合适。如果曲线是波动的，一会上升一会下降，则学习率选择过大。如果曲线持续上升，则代码可能出bug（w参数的更新写成了加法）。我们需要尝试多个数值的学习率，合适的学习率会让曲线持续下降，在这些合适的学习率中选择一个最大的或比最大小一点点的学习率。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/424148