机器学习——岭回归和LASSO回归_岭回归不显著怎么办

作者：从前慢现在也慢 | 2024-07-08 16:06:51

踩

岭回归不显著怎么办

1.用矩阵表示多元线性回归

Y=BX+a

Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。

也即是残差平方和最小时。B（Bi）的值。可以证明B的最小二乘估计=（XTX）-1XTy

其中（XTX）-1为广义逆。

如果X存在线性相关的话，XTX没有逆：

1.出现多重共线性2.当n<p,变量比样本多时，出现奇异

岭回归（Ridge Regression）

先对数据做标准化

B(K)=(XTX+kI)XTY为B的岭回归估计，其中K为岭参数，I为单位矩阵，KI为扰动。

岭迹图帮助我们发现多重共线性，以及取那个K值。在图中࿰

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/799279