最小二乘法的思路及推导过程_最小二乘法推导

一、最小二乘法的思路

最小二乘法（Least Squares）是回归分析中的一种标准方法，它是当方程数量大于未知数个数时，利用数据点构建的方程组，对未知参数进行一种近似估计的方法。之所以叫做“最小二乘”，是因为利用的优化项是由所有数据点与模型观测点残差的平方和构成的，通过极小化残差的平方和，达到一种从整体上最“接近”实际观测数据的模型参数。

二、最小二乘法的公式推导

以最简单的线性最小二乘法拟合为例。设最终需要得到的拟合直线公式为

其中，，为待估计的参数。

设我们拥有的一组数据的观测点对为，一共有对数据点，则将这些数据点分别代入方程，可以得到一共个方程构成的方程组，通过极小化实际观测数据与模型观测数据的残差平方和：

将分别对参数求偏导，并令偏导等于零，可得

化简后得到

                                   

在这里，由于都是对下标从求和，所以将求和上小标均省略。

对参数求偏导，可得

化简后得到

                                                     

利用方程组成的关于未知参数的二元一次方程组，联立求解，可得

其中上的横线代表对观测数据点求平均值。

至此，我们推导出了线性最小二乘法对于最简单两个直线参数估计情形的计算公式。