一文读懂梯度下降法_梯度下降算法的实际应用

梯度下降无疑是大多数机器学习(ML)算法的核心和灵魂。我绝对认为你应该花时间去理解它。因为对于初学者来说，这样做能够让你更好地理解大多数机器学习算法是如何工作的。另外，想要培养对复杂项目的直觉，理解基本的概念也是十分关键的。  

为了理解梯度下降的核心，让我们来看一个运行的例子。这项任务是这个领域的一项老任务——使用一些历史数据作为先验知识来预测房价。 

我们的目标是讨论梯度下降。所以我们让这个例子简单一点，以便我们可以专注于重要的部分。

 

  基本概念

假设你想爬一座很高的山，你的目标是最快到达山顶，可你环顾四周后，你意识到你有不止一条路可以走，既然你在山脚，但似乎所有选择都能让你离山顶更近。  

如果你想以最快的方式到达顶峰，所以你要怎么做呢？你怎样才能只迈出一步，而能够离山顶最近?  

到目前为止，我们还不清楚如何迈出这一步！而这就是梯度的用武之地。  

让我们一步步来看看它是如何工作的。

用更简单的话来说，导数是一个函数在某一点的变化率或斜率。 

以f(x)=x²函数为例。f(x)的导数就是另一个函数f'(x)在一个定点x的值，f'(x)就是f(x)的斜率函数。在这种情况下，当x=2时，f(x) = x²的斜率是2 x，也就是2*2=4。  

 

f(x) = x²在不同点的斜率。

 

简单地说，导数指向上升最陡的方向。恰巧的是，梯度和导数基本上是一样的。除了一点，即梯度是一个向量值函数，向量里包含着偏导数。换句话说，梯度是一个向量，它的每一个分量都是对一个特定变量的偏导数。  

以函数f(x,y)=2x²+y²为另一个例子。  

这里的f(x,y)是一个多变量函数。它的梯度是一个向量，其中包含了f(x,y)的偏导数，第一个是关于x的偏导数，第二个是关于y的偏导数。

如果我们计算f(x,y)的偏导数。