python 回归去掉共线性_SPSS方法｜岭回归分析

前言

岭回归：岭回归分析是在构建多重线性回归模型时， 对基于“最小二乘原理”推导出的估计回归系数的计算公式作一下校正，使回归系数更稳定。

当自变量之间存在较强的多重共线性时，求得的多重线性回归模型很不稳定; 尤其是某些自变量回归系数的正负号与实际问题的专业背景不吻合时，岭回归分析可以很好地解决这一问题。

1 实施的一般步骤

1 岭回归分析通常要先对 X 变量作中心化和标准化处理， 以使不同自变量处于同样数量级上而便于比较。

2确定 k 值

① 岭迹图

岭迹法主要是通过将 β( k) 的分量 βi( k) 的岭迹画在同一幅图上， 从图中选择尽可能小的 k 值， 使得各回归系数的岭估计大体稳定， 即各分量在图上的岭迹曲线趋于平行于X 轴。

选择 k 值的一般原则主要有: ①各回归系数的岭估计基本稳定; ②用最小二乘估计时符号不合理的回归系数， 其岭估计的符号将变得合理; ③回归系数的大小要与实际相符， 即从专业上讲对因变量影响较大的自变量其系数的绝对值也较大; ④均方误差增大不太多。

②方差膨胀因子法

方差膨胀因子 cjj 度量了多重共线性的严重程度， 一般当 cjj ＞ 10 时， 模型就有严重的多重共线性。

3根据岭迹图进行变量筛选及重新确定k值

把岭迹应用于回归分析中自变量的选择，其基本原则为:

(1)去掉岭回归系数比较稳定且绝对值比较小的自变量。这里岭回归系数可以直接比较大小，因为设计阵 X 是假定已经中心标准化了的。

(2)去掉岭回归系数不稳定但随着 k 值的增加迅速趋于零的自变量。

(3)去掉一个或若干个具有不稳定岭回归系数的自变量。如果