最小二乘法(基础原理+简单推导+python模拟)_最小二乘 误差计算 python

最小二乘法通过最小化误差（真实$y_i$与拟合函数生成的$\widehat{y_i}$的差）的平方和从而寻找拟合数据最佳的函数。

对于数据 $(x_1,y_1),(x_2,y_2),...,(x_i,y_i)(i=1,2,3,..,m)$，拟合出函数$h(x)$。一般来讲$h(x)$为n次多项式，$h(x)=w_0+w_{1}x+w_2{x}^2+...w_n{x}^n$，其中$(w_0,w_1,...,w_n)$是函数的参数。

最小二乘法的目的是找到一组$(w_0,w_1,...,w_n)$，使得${\sum }_{i=1}^n(h(x_i)-y_i{)}^2$最小。–> $min{\sum }_{i=1}^n(h(x_i)-y_i{)}^2$

想要求的一组$(w_0,w_1,...,w_n)$使得误差${\sum }_{i=1}^n(h(x_i)-y_i{)}^2$最小，及求误差函数的极小值点（偏导数为0的点）。

举个例子：
$$\begin{gathered} f(x;w)=w_0+w_{1}x \\ Loss(y,f(x;w))=(y-f(x;w){)}^2 \\ 这里的平方是为了方便求导运算。 \\ {J}_n(w)=\sum _{i=1}^n(y_i-w_0-w_1{x}_i{)}^2/2 \\ 为了求极值，则对w_0,w_1分别求偏导。 \end{gathered}$$
{ ∂ ∂ w 0 J n ( w ) = − ∑ i = 1 n ( y i − w 0 − w 1 x i ) = 0 ∂ ∂ w 1 J n ( w ) = − ∑ i = 1 n ( y i − w 0 − w 1 x i ) x i = 0

$$\begin{cases} \frac{\partial}{\partial w_0}J_n(w)=-\sum_{i=1}^{n}(y_i-w_0-w_1x_i)=0 \\ \frac{\partial}{\partial w_1}J_n(w)=-\sum_{i=1}^{n}(y_i-w_0-w_1x_i)x_i=0 \end{cases}$$ \\ {∂w0​∂​Jn​(w)=−∑i=1n​(yi​−w0​−w1​xi​)=0∂w1​∂​Jn​(w)=−∑i=1n​(yi​−w0​−w1​xi​)xi​=0​
$$\{\begin{array}{l}{w}_0({\sum }_{i=1}^{n}1)+w_1({\sum }_{i=1}^n{x}_i)={\sum }_{i=1}^n{y}_i\\ w_0({\sum }_{i=1}^n{x}_i)+w_1({\sum }_{i=1}^n{x}_i^2)={\sum }_{i=1}^n{y}_i{x}_i\end{array}$$
$$\left[\begin{array}{cc}{\sum }_{i=1}^{n}1& {\sum }_{i=1}^n{x}_i\\ {\sum }_{i=1}^n{x}_i& {\sum }_{i=1}^n{x}_i^2\end{array}\right]\left[\begin{array}{c}{w}_0\\ w_1\end{array}\right]=\left[\begin{array}{c}{\sum }_{i=1}^n{y}_i\\ {\sum }_{i=1}^n{y}_i{x}_i\end{array}\right]$$

$$\begin{gathered} 要求w，及求\varphi \cdot \hat{w}=b中的\hat{w}。 \\ \hat{w}={\varphi }^{-1}\cdot b \end{gathered}$$
矩阵形式：
J = 1 2 ∣ ∣ Y − X w ∣ ∣ 2 = 1 2 ∣ ∣ [ y 1 y 2 . . . y n ] − [ 1 x 1 2 x 2 . . . 3 x 3 ] ⋅ [ w 0 w 1 ] ∣ ∣ 2 J=\frac{1}{2}||Y-Xw||^2= \frac{1}{2} \left| \left| \left[

$$\begin{matrix} y_1\\ y_2\\ ...\\ y_n \end{matrix}$$ \right] - \left[ $$\begin{matrix} 1&x_1\\ 2&x_2\\ ...\\ 3&x_3 \end{matrix}$$ \right] \cdot \left[ $$\begin{matrix} w_0\\ w_1\\ \end{matrix}$$ \right] \right|\right|^2 \\ \\ J=21​∣∣Y−Xw∣∣2=21​∣ ∣​∣ ∣​⎣ ⎡​y1​y2​...yn​​⎦ ⎤​−⎣ ⎡​12...3​x1​x2​x3​​⎦ ⎤​⋅[w0​w1​​]∣ ∣​∣ ∣​2
$$\begin{array}{rl}||Y-Xw|{|}^2& =(Y-Xw{)}^T(Y-Xw)\\ & =Y^{T}Y-x^T{X}^{T}Y-Y^{T}Xw+w^T{X}^{T}Xw\\ & =Y^{T}Y-2w^T{X}^{T}Y+w^T{X}^{T}Xw\end{array}$$
$$\frac{\partial J}{\partial w}=-X^{T}Y+X^{T}Xw=0$$
$$w=(X^{T}X{)}^{-1}{X}^{T}Y$$

python实现最小二乘法

import numpy as np
import scipy as sp
from scipy.optimize import leastsq
import matplotlib.pyplot as plt
%matplotlib inline

# 创建目标函数
def func(x):
    return np.sin(2*np.pi*x)

# 预设一个用于拟合的多项式
def fit_func(p, x):
    f = np.poly1d(p)
    return f(x)

# 定义误差
def error(p, x, y):
    err = fit_func(p, x) - y
    return err

# 十个点
x = np.linspace(0, 1, 10)
x_points = np.linspace(0, 1, 1000)
# 加上正态分布噪音的目标函数的值
y_ = func(x)
y = [np.random.normal(0, 0.1) + y1 for y1 in y_]


def fitting(M=0):
    """
    M    为 多项式的次数
    """
    # 随机初始化多项式参数
    p_init = np.random.rand(M + 1)
    # 最小二乘法
    p_lsq = leastsq(error, p_init, args=(x, y))
    print('Fitting Parameters:', p_lsq[0])

    # 可视化
    plt.plot(x_points, func(x_points), label='real')
    plt.plot(x_points, fit_func(p_lsq[0], x_points), label='fitted curve')
    plt.plot(x, y, 'bo', label='noise')
    plt.legend()
    return p_lsq

# M=3
p_lsq_3 = fitting(M=3)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

详细代码文件：python代码文件。