【数学】什么是最小二乘法？如何求解最小二乘法？

背景

最小二乘法（Least Squares Method）是一种用于找到数据点最佳拟合曲线的数学优化技术。它通过最小化数据点和拟合曲线之间的误差平方和来实现。广泛应用于统计学、数据分析和机器学习中。

公式

最小二乘法的基本公式如下：

1. 线性回归模型：
   $$\hat{y}={\beta }_0+{\beta }_{1}x$$
2. 误差平方和（SSE）：
   $$SSE=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n(y_i-({\beta }_0+{\beta }_1{x}_i){)}^2$$
3. 通过求解最小化误差平方和，得出最佳拟合参数：
   $${\beta }_1=\frac{n\sum (x_i{y}_i)-\sum x_i\sum y_i}{n\sum x_i^2-(\sum x_i{)}^2}$$
   $${\beta }_0=\frac{\sum y_i-{\beta }_1\sum x_i}{n}$$

示例题目

假设我们有以下数据点：$(1,2)$、$(2,3)$、$(3,5)$、$(4,4)$、$(5,6)$。求最佳拟合直线。

详细讲解

1. 计算必要的求和：
   $$\sum x_i=1+2+3+4+5=15$$
   $$\sum y_i=2+3+5+4+6=20$$
   $$\sum x_i^2=1^2+2^2+3^2+4^2+5^2=55$$
   $$\sum x_i{y}_i=1\cdot 2+2\cdot 3+3\cdot 5+4\cdot 4+5\cdot 6=70$$

2. 计算斜率 ${\beta }_1$：
   $${\beta }_1=\frac{5\cdot 70-15\cdot 20}{5\cdot 55-15^2}=\frac{350-300}{275-225}=\frac{50}{50}=1$$

3. 计算截距 ${\beta }_0$：
   $${\beta }_0=\frac{20-1\cdot 15}{5}=\frac{5}{5}=1$$

4. 最佳拟合直线方程为：
   $$\hat{y}=1+1x=x+1$$

Python代码求解

import numpy as np
import matplotlib.pyplot as plt

# 数据点
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 3, 5, 4, 6])

# 最小二乘法计算
A = np.vstack([x, np.ones(len(x))]).T
beta, beta_0 = np.linalg.lstsq(A, y, rcond=None)[0]

# 绘图
plt.plot(x, y, 'o', label='原始数据', markersize=10)
plt.plot(x, beta * x + beta_0, 'r', label='拟合直线')
plt.legend()
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

实际生活中的例子

在经济学中，最小二乘法可以用来预测消费支出与收入之间的关系。例如，根据历史数据，使用最小二乘法可以拟合出消费支出与收入的关系直线，从而预测未来的消费行为。