赞
踩
岭回归(Ridge Regression)和线性回归(Linear Regression)都是用于回归分析的统计方法,但它们在处理方式和应用场景上有一些关键的区别:
a)基本概念
·线性回归:目标是找到一个线性函数,使得预测值与实际值之间的均方误差(MSE)最小。没有对系数的约束。
·岭回归:在最小化均方误差的同时,添加一个正则化项(L2范数),以防止过拟合。该正则化项是系数的平方和乘以一个正则化参数。
b)公式
·线性回归 :
m
i
n
w
∣
∣
X
w
−
y
∣
∣
2
min_w||Xw-y||^2
minw∣∣Xw−y∣∣2
·岭回归 :
m
i
n
w
∣
∣
X
w
−
y
∣
∣
2
+
λ
∣
∣
w
∣
∣
2
min_w||Xw-y||^2 +λ||w||²
minw∣∣Xw−y∣∣2+λ∣∣w∣∣2
∣
∣
w
∣
∣
||w||
∣∣w∣∣表示
w
w
w的二范数,其中,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。