最小二乘法与最佳平方逼近（简单版+例子）_实现最佳平方逼近与最小二乘拟合,并完成两种方法之间的对比

文章内容

本文主要介绍最小二乘法和最佳平方逼近的算法思想，并没有进行严格的数学证明和数学推导。如果仅仅是想要了解该算法的大致思路，那么本文非常适合你。

最小二乘法和最佳平方逼近可以说是一回事，最小二乘法主要用于离散型变量，而最佳平方逼近用于的是连续型变量。

目的都是一样，为了用一个新的函数“近似”模拟出原本的数值。

离散型：如x={1,2,3,4,5,}变量是可以穷举的，也就是有限个。

连续型：如x={x|0<x<5}变量是不可以穷举的，也就无数个。

最小二乘法：

在高中阶段，物理教材中有不少的画图题，记得当初最开始的时候是学习速度、位移、加速度这几个知识点。其中，有一种类型的题目，是给出若干数据，要求描出坐标点，并且在x、y轴上作图。记得做这类型的题，方法是->“让尽可能多的点落在同一直线上.让其余的点落在直线的两侧.误差较大的点舍弃”，如小车的匀加速实验、验证牛顿第二定律、探究胡克定律等等。

如果遇到是非直线，则是“用一条光滑的曲线”连接点。如下坐标点，显然，用“让尽可能多的点落在同一直线上.让其余的点落在直线的两侧.误差较大的点舍弃”的方法，“近似”出来的新函数为y=x

但是，这毕竟是人工画出来的，如果点数量多的话，麻烦不说，怎么确定让尽可能多的点在直线上呢，怎么才叫“其余

的点落在直线的两侧”

为了解决这个问题，出现了最小二乘法。

最小二乘法就是用于曲线拟合，说白了就是找一个近似的新函数S*，使得每个xi对应的yi值，有Σ（S*-y）^2最小。

在图中，就是令（L1^2+L2^2+L3^2+L4^2+L5^2+L6^2）最小。（当然，我们现在还不知道y=x，我们的目的就是找

一个新函数y，让Σ（S*-y）^2最小）、（图中的L3和L6为0，没有画出来）

这就是最小二乘法的算法思想。当然，他不仅仅可以用于一次方程，还可以用于任意方程，

最佳平方逼近：

最佳平方逼近也最小二乘法类似，只是有离散型变成连续型。最小二乘法是离散型，通过求和得到最小误差的那个新函数就是我们要的。而最佳平方逼近是连续型，连续型的求和，显然就是求积分。试想一下，有一些离散点，这些离散点非常的多，而且都聚集在一个区域，如（1,2），那么这么非常多的点的求和，显然就是求积分。

比如有一个函数y=x^3，x∈【-1,1】，现在我要找一个新的二次函数S*，“近似”等于y=x^3，，使得在【-1,1】上，||S*-y||$_{2}^{2}$   最小。也就是说找到一个新的函数S*=a$_{0}$+a$_{1}$x+a$_{2}$×x^2，最“近似”y=x^3，这里的近似就是||S*-y||$_{2}^{2}$最小，最小二乘法相似，但是这里用的是积分最小。

通过最佳平方逼近的算法，我们算出a0=0，a1=3/5，a2=0时，在【-1,1】上||S*-y||$_{2}^{2}$。于是，y=3/5x就是我们要求的最佳平方逼近。

而||S*-y||$_{2}^{2}$的意义就是使得，在【-1,1】上面的所有Li，（i为无穷大），ΣLi^2最小

可以想象成下图的Li无限多。

最后：

其实无论是最小二乘法还是最佳平方逼近，其目的都是找到一个最好的“近似”函数，最小二乘法的“近似”是Σ求和最小，最佳平方逼近的“近似”是积分最小

至于最小二乘法和最佳平方逼近求解出最好的“近似”函数，在下一篇博客中将会介绍。

PS

打个小广告，我在顺丰工作，可帮忙内推工作，深圳、北京、上海均有岗位，欢迎各位技术人员后台私信我！