岭回归总结

作者：木道寻08 | 2024-07-09 09:00:18

踩

岭回归

岭回归存在的目的：

解决多重共线性下，最小二乘估计失效的问题

岭回归的作用：(在引入变量太多，又存在多重共线性，难以抉择去留哪个变量时可以通过该方法筛选变量)

1.找出多重共线性的变量，并提剔除部分

2.找出作用不大的变量

3.找出岭回归系数不稳定的变量

一、岭回归的定义和性质

1.背景：

在多元线性回归中得到变量的最小二乘估计 $\beta =X(X'X)^{-1}X'y$

因此要保证 $\beta$ 的估计有效，就要求 $(X'X)^{-1}$ 存在，即要求 $(X)^{-1}$ 存在，从而要求矩阵X是满秩的，即非共线的。

当然X共线情况是很少几率会出现的，但是各个变量之间存在一定程度的线性相关是常常存在的，这会导致

$\left \| (X'X) \right \| \approx 0$ ，

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/801962