牛顿下降法和梯度下降法(最速下降法)的速度的比较

作者：从前慢现在也慢 | 2024-03-26 02:48:14

踩

“牛顿下降法和梯度下降法在机器学习和自适应滤波中的都很重要，本质上是为了寻找极值点的位置。但是收敛的速度不同。本文中就两种方法来探究一下，哪种收敛方法速度快“

牛顿下降法的递推公式：

x_{n + 1} = x_{n} - f^{'} (x_{n}) / f^{″} (x_{n})

${x}_{n+1}={x}_{n}-f'({x}_{n})/f''({x}_{n})$

梯度下降算法的递推公式：

x_{n + 1} = x_{n} - μ * f^{'} (x_{n})

${x}_{n+1}={x}_{n}-\mu*f'({x}_{n})$

下图是两种方法的图示表示，红色为牛顿下降法，绿色为梯度下降法，从图中直观的感觉是，红色线短，下降速度快。因为牛顿下降法是用二次曲面去拟合当前的局部曲面，而梯度下降法是用平面去拟合当前的局部曲面，一般用二次曲面拟合的更好，所以一般牛顿算法收敛快。

红颜色的

关于以上的说法中，梯度下降法是用平面去拟合当前的局部曲面。梯度 f’(x)的方向是函数变大的方向。这里需要解释一下，对于一维情况而言，梯度方向只有正方向和负方向。至于为什么梯度下降算法就是用平面去拟合了，大多数情况下，没有讲的详细。接下来就聊一下为什么。

首先考虑一下这个公式，这是一阶泰勒展式，其实就是用平面去拟合函数的局部曲面。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/314159