机器学习--梯度下降法_无解析函数的问题　梯度下降

作者：凡人多烦事01 | 2024-02-18 03:03:43

踩

无解析函数的问题　梯度下降

提示：以下是本篇文章正文内容，下面案例可供参考

前言

梯度下降法(gradient descent)是求解无约束最优化问题的一种最常用的方法，具有实现简单的优点。梯度下降法是迭代算法，每一次需要求解目标函数的梯度向量。

假设 $f (x)$ 是 $R^n$ 上具有一阶连续偏导数的函数。要求解的无约束最优化问题是
$\underset{x\in{R^n}}{min}f(x)$
$x^*$ 为目标函数 $f (x)$ 的极小点。

梯度下降法是迭代算法。选取适当的初值 $x^(0)$ ,不断迭代，更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步时，以负梯度方向更新x的值，从而达到减少函数值的目的。

首先，有一个目标函数，假设为 $J(\theta_0,\theta_1)$ 。

我们的目的是获取函数的最小值，即 $\underset{\theta_0,\theta_1}{min}J(\theta_0,\theta_1)$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/104074