多元线性回归：共线性分析学习笔记_csdn多元线性分类

多元线性回归：共线性分析学习笔记

在多元线性回归中，如果自变量之间存在相关性，就会出现共线性问题。共线性会导致模型的不稳定，使得回归系数难以估计。

本文将介绍共线性的概念以及如何进行共线性分析。我们将重点讨论多重共线性和方差膨胀因子（VIF）。

什么是共线性？

共线性指的是自变量之间存在高度相关性的情况。如果两个或更多自变量高度相关，则很难区分它们对因变量的影响。共线性可能会导致以下问题：

• 回归系数估计：共线性可以导致回归系数的标准误差增加，使得回归系数难以估计。
• 模型解释：共线性可以使得模型中自变量的作用难以解释。
• 预测精度：共线性可以降低模型的预测精度。

如何进行共线性分析？

散点图矩阵

散点图矩阵可以帮助我们观察多个自变量之间的关系。例如，下面是Iris数据集中四个自变量的散点图矩阵：

import seaborn as sns
import pandas as pd

iris = sns.load_dataset("iris")
sns.pairplot(data=iris[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']])
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IOlOIRPx-1683811467442)(./images/scatter_matrix.png)]

从上图我们可以看出，petal_length和petal_width之间存在高度相关性。

相关系数矩阵

相关系数矩阵可以帮助我们量化自变量之间的相关性。例如，下面是Iris数据集中四个自变量的相关系数矩阵：

corr = iris[['sepal_length', 'sepal_width', 'petal_length', 'petal_width']].corr()
corr
1
2

从上表我们可以看出，petal_length和petal_width之间的相关系数为0.96，说明它们之间存在高度相关性。

方差膨胀因子

方差膨胀因子（VIF）可以帮助我们判断单个自变量对多重共线性的贡献大小。如果一个自变量的VIF值大于5，则说明它可能存在多重共线性。

例如，我们可以使用statsmodels库中的vif计算VIF值：

import statsmodels.formula.api as smf

model = smf.ols("sepal_length ~ sepal_width + petal_length + petal_width", data=iris)
result = model.fit()
pd.Series([smf.ols(col + ' ~ ' + '+'.join(iris.columns.drop(col)), data=iris).fit().rsquared for col in iris.columns],
          index=iris.columns, name='VIF')
1
2
3
4
5
6

从上表我们可以看出，sepal_length、sepal_width和petal_length之间存在多重共线性。

总结

共线性是自变量之间存在相关性的情况。共线性可能会导致模型的不稳定，使得回归系数难以估计。共线性分析包括散点图矩阵、相关系数矩阵和方差膨胀因子。在进行多元线性回归时，应该注意共线性问题，避免影响模型的质量。