线性回归、正规方程和梯度下降法_线性回归正规方程

一、线性回归简介

1.定义与公式

线性回归是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多余一个自变量情况的叫做多元回归

• 通用公式：
  $$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+...+{\beta }_p{x}_p+\epsilon$$
  其中，y是因变量（目标值），x₁、x₂、…、xₚ是自变量（特征值），β₀、β₁、β₂、…、βₚ是模型的参数（权重），ε是误差项，表示模型预测值与实际观测值之间的差异，它是一个随机项，表示模型无法完全准确地解释因变量的变异性。

• 举例：

  • 期末成绩 = 0.7 × 考试成绩 + 0.3 × 平时成绩
  • 房子价格 = 0.02 × 中心区域的距离 + 0.04 × 城市一氧化氮浓度 + （-0.12 × 自住房平均房价）+ 0.254 × 城镇犯罪率

  上面两个例子，可以看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型。

2.线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系。

• 线性关系：

  • 单变量线性关系：

    

  • 多变量线性关系：

    

• 非线性关系：

  

3.线性回归应用场景

• 房价预测
• 销售额度预测
• 贷款额度预测

二、线性回归的损失和优化

绿色线是预测的结果，红色线是真实结果。

1.损失函数（又称最小二乘法）

• 公式：
  $$L({\beta }_0,{\beta }_1,...,{\beta }_p)={\Sigma }_i(y_i-({\beta }_0+{\beta }_1{x}_{1i}+{\beta }_2{x}_{2i}+...+{\beta }_p{x}_{pi}){)}^2$$
  其中，L表示损失函数，yᵢ表示第i个样本的实际观测值，x₁ᵢ、x₂ᵢ、…、xₚᵢ 表示第 i 个样本的自变量（输入变量），β₀、β₁、β₂、…、βₚ表示模型的参数（权重）。

  如何去减少这个损失，使我们预测的结果更加准确些？这里可以通过一些优化算法去优化（其实是数学当中的求导功能）回归的总损失。

2.优化算法

如何去求模型当中的参数β，使得损失最小？（目的是找到最小损失对应的参数值β）

• 线性回归经常使用的两种优化算法
  • 正规方程
  • 梯度下降法

三、正规方程和梯度下降法

1.正规方程

正规方程（Normal Equation）是一种通过解析方法求解线性回归模型参数的方法。它是基于最小化平方损失函数的线性回归问题的闭式解。

• 公式：
  

  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/279519