最小二乘法_最小二乘法误差

作者：羊村懒王 | 2024-03-21 08:00:34

踩

最小二乘法误差

最小二乘法说白了就是最小平方法，最小二乘法到底是怎么一回事呢？
网上找了很多资料，对最小二乘法也有了一些认识
最小二乘法是一种数学优化技术，其通过最小化误差的平方和寻找数据的最佳函数匹配；利用最小二乘法可以简便的求得未知的数据，并使得这些求得得数据与实际数据之间误差的平方和最小。
简而言之，最小二乘法和梯度下降法类似，都是一种求解无约束最优化问题的常用方法，并也可以用于曲线拟合，来解决回归问题。

一、简单理解二乘法

比如采样获取到一批样本， $x_1,y_1)$ , $x_2,y_2)$ … $x_n,y_n)$ ,得到这批数据之后，接下来要处理这堆数据，假设 $y$ 跟 $x$ 呈线性关系，即 $y=\beta_0+\beta_1x$ ,接下来所需要做的就是根据采样获得的数据来求解 $\beta_0$ 和 $\beta_1$ 了。

二、最小二乘法的误差

假设有五个尺子测量同一个线段，会得到五个不同的值10.2，10.3，9.8，9.9，9.8，之所以出现不同值的原因可能是尺子材质不一样；厂家生产的精度不一样等等…总之就是会产生误差，而一般在这种情况，会取平均值作为最终线段的长度，即 $\overline{x}=\frac{10.2+10.3+9.8+9.9+9.8}{5}=10$ ,但是为什么一定要用 $\overline{x}$ 呢，用中位数不行吗，用调和平均数不行吗？下面我们来思考一下这个问题。

如图，将这五个点画入坐标系中，记作 $y_i$ ，其次把要猜测的真实值用平行于横轴的直线表示（虚线表示），这个 $y$ 是用 $y=\beta_0+\beta_1x$ 算出来的猜测值，记作 $y$ ，每个点都向 $y$ 做垂线，每一段垂线的长度是 $y_i-y|$ ,也就是真实值和测量值之间的误差，因为误差是长度，且计算起来很麻烦，所以干脆就会用平方和来代表误差：
$|y_i-y|\rightarrow(y_i-y)^2$
由此，误差用数学公式表示就是： $Q=\sum_{i=1}^n(y-y_i)^2$
由于 $y$ 是猜测的，故可以不断变换，同时 $Q$ 也会不断变化
在这里插入图片描述
知道误差的表示之后，让总的误差最小的 $y$ 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动。
即 $Q=min\sum_{i=1}^n(y-y_i)^2$ 求这个就好求了;
一般套路：求导 $\rightarrow$ 导数为0 $\rightarrow$ 求出来的 $y$ 就是真值
$\frac{dQ}{dy}=\frac{d}{dy}\sum_{i=1}^n(y_i-y)^2=2\sum_{i=1}^n(y_i-y)$
$2[(y_1-y)+(y_2-y)+(y_3-y)+(y_4-y+(y_5-y)]=0$
$y=\frac{y_1+y_2+...y_5}{5}$ 求出来的y正好是平均数，原来算数平均数可以让误差最小啊，那看来选它也不无道理。
需要注意的是，误差的分布是一个正态分布，为什么呢？
假设直线对于坐标 $x_i$ 给出的预测 $f(x_i)$ 是最靠谱的预测，所有纵坐标偏离 $f(x_i)$ 的那些数据点都含有噪音，是噪音使得它们偏离了完美的一条直线，一个合理的假设就是偏离路线越远的概率越小，具体小多少，可以用一个正态分布曲线来模拟，这个分布曲线以直线对 $x_i$ 给出的预测 $f(x_i)$ 为中心，实际纵坐标为 $y_i$ 的点 $x_i, y_i)$ 发生的概率就正比于 $e^{[-(Δy_i)^2]}$ ，这也就是误差分布服从正态分布的原因所在了。
在解决第一个问题之后，我们来思考下一个问题，根据采样得到的数据，该怎么求得参数 $\beta_0$ 和 $\beta_1$ 呢

三、最小二乘法的求解

知道了前面的cost function之后，下面的求解过程就很简单了
样本的回归方程为： $Q=\sum_{i=1}^n(y_i- \beta_0-\beta_1x_i)$
现在需要确定 $\beta_0$ 和 $\beta_1$ 来使得cost function最小，即 $m i n Q$ ,所以依旧是那几步求解过程：求导 $\rightarrow$ (偏)导数为0 $\rightarrow$ 求出 $\beta_0$ , $\beta_1$
具体过程如下：
$\frac{\partial{Q}}{\partial{\beta_0}}=2\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)(-1)=0$
$\frac{\partial{Q}}{\partial{\beta_1}}=2\sum_{i=1}^n(y_i-\beta_0-\beta_1x_i)(-x_i)=0$
将这两个方程整理一下，应用克莱姆法则即可求解出来，鉴于初学者可能有的不知道克莱姆法则，可以看一下克莱姆法则(用这个求解要求 $D\not=0$ )

$D=\left|$

\begin{array}{cccc} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{array}

$\begin{array}{cccc} n & \sum_{i=1}^nx_i \\ \sum_{i=1}^nx_i & \sum_{i=1}^n x_i^2\ \end{array}$ \right| =n\sum_{i=1}^n x_i^2-(\sum_{i=1}^nx_i)^2

D = ∣ ∣ ∣ ∣ n \sum_{i = 1}^{n} x_{i} \sum_{i = 1}^{n} x_{i} \sum_{i = 1}^{n} x_{i}^{2} ∣ ∣ ∣ ∣ = n i = 1 \sum n x_{i}^{2} - (i = 1 \sum n x_{i})^{2}

\begin{array}{cccc} \sum_{i = 1}^{n} y_{i} & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} y_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{array}

\begin{array}{cccc} n & \sum_{i = 1}^{n} y_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i} y_{i} \end{array}

\beta_0=\frac{D1}{D}=\frac{\sum_{i=1}^nx_i^2y_i -\sum_{i=1}^nx_i \sum_{i=1}^nx_iy_i}{n\sum_{i=1}^n x_i^2-(\sum_{i=1}^nx_i)^2}

\beta_1=\frac{D2}{D}=\frac{n \sum_{i=1}^n x_i^2-(\sum_{i=1}^nx_i)^2}{n\sum_{i=1}^n x_i^2-(\sum_{i=1}^nx_i)^2}

根据这个公式，就可求解出对应的参数。

四、推广到矩阵形式

假设一个样本有更多的特征，也就是一个样本会有多个模型变量，（注：这里面表示样本用 $x_1,x_2...x_n$ ，表示多个特征(模型变量)用 $x^1,x^2...x^n$
在一个样本里，可以用如下线性函数表示： $y=\beta_0+\beta_1x^1+\beta_2x^2+...+\beta_mx^m$
而对于n个样本来说，可以用如下线性方程组表示：
$\beta_0+\beta_1x_1^1+\beta_2x_1^2+...+\beta_mx_1^m=y_1$
$\beta_0+\beta_1x_2^1+\beta_2x_2^2+...+\beta_mx_2^m=y_2$
$\beta_0+\beta_1x_3^1+\beta_2x_3^2+...+\beta_mx_3^m=y_3$
…
$\beta_0+\beta_1x_n^1+\beta_2x_n^2+...+\beta_mx_n^m=y_n$
上述线性方程组可以表示为为：

[\begin{matrix} 1 & x_{1}^{(1)} & x_{1}^{(2)} & \dots & x_{1}^{(m)} \\ 1 & x_{2}^{(1)} & x_{2}^{(2)} & \dots & x_{2}^{(m)} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{(1)} & x_{n}^{(2)} & \dots & x_{n}^{(m)} \end{matrix}]

$\begin{bmatrix} 1 & x_1^{(1)} & x_1^{(2)} & \cdots & x_1^{(m)} \\ 1 & x_2^{(1)} & x_2^{(2)} & \cdots & x_2^{(m)} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_n^{(1)} & x_n^{(2)} & \cdots & x_n^{(m)} \\ \end{bmatrix}$ .