数字信号处理：曲线拟合算法-----最小二乘法

在回归分析中，一般任意的数据都可以用一条曲线来表示，这个曲线可以用某一个高次方的代数多项式 y= a + bx + c(x)2 + …来描述，其中 a , b , …是常数。但是这样通过每个点的曲线是没意义的，也不能表示y和x的真实的相关关系。趋势变化才是两者相关关系的合理解释。在已知y=f（x）的形式时，运用最小二乘法可以计算出它的参数。
现在我们通过求直线回归方程来了解最小二乘法。
假定 y1 为预测值，它和 x之间的关系是 y1 = a + bx，y2 为实测值。根据误差理论，算术平均值是最佳值，由此算出的均方误差最小。我们定义 y3 = y2 - y1为实测值相对于回归直线的误差，那么满足均方误差最小的回归直线方程，就是最佳配置直线。
由上文中的满足均方误差最小的回归直线方程，可以转化为：
∑(y2-bx-a)2 = ∑ (y3)2 = min(表示最小值)
要使等式成立，根据微分学的知识，必须使等式左边对a和b的偏微分分别为零，然后微分得到：
∑(y2-bx-a)x = 0
∑(y2-bx-a) = 0
分解开来：
∑ (xy2) - b∑(x)2 -a∑ x = 0
∑ y2 - b∑ x - Na =0
其中N为数据个数。
解上面的方程组为：
b = (N∑(xy2)-(∑ y2)(∑ x))/(N∑(x)2 - (∑ x)2)
a = ((∑ (x)2)(∑ y2)-(∑ (xy2))(∑ x))/(N