梯度下降法的问题与挑战_梯度下降法存在的问题

作者：2023面试高手 | 2024-02-18 03:01:42

踩

梯度下降法存在的问题

1.选择一个合理的学习速率很难，需要在工作中不断调整，如果学习速率过低，导致收敛速度变慢，如果学习速率过大，那么模型难以收敛。

2.学习速率调整，我们一般在学习过程中不断调整学习速率。

一开始我们先开始一个固定设置，随着迭代次数增加是学习率逐步衰减。

3.如果数据集不在一个数量等级内，即每个特征有着不同的取值空间，或者矩阵数据特征稀疏（稀疏的矩阵尽可能用大的速率）那么就不能用同样的学习速率。（归一化）

4.梯度下降法本身容易进入局部最优解中。

鞍点问题。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/104059