机器学习算法——岭回归_岭回归算法

转载自：http://blog.csdn.net/google19890102/article/details/27228279

一、一般线性回归遇到的问题

    在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在：

• 预测精度：这里要处理好这样一对为题，即样本的数量和特征的数量
  • 时，最小二乘回归会有较小的方差
    
  • 时，容易产生过拟合
    
  • 时，最小二乘回归得不到有意义的结果
    
• 模型的解释能力：如果模型中的特征之间有相互关系，这样会增加模型的复杂程度，并且对整个模型的解释能力并没有提高，这时，我们就要进行特征选择。

以上的这些问题，主要就是表现在模型的方差和偏差问题上，这样的关系可以通过下图说明：

（摘自：机器学习实战）

方差指的是模型之间的差异，而偏差指的是模型预测值和数据之间的差异。我们需要找到方差和偏差的折中。

二、岭回归的概念

    在进行特征选择时，一般有三种方式：

• 子集选择
• 收缩方式(Shrinkage method)，又称为正则化(Regularization)。主要包括岭回归个lasso回归。
• 维数缩减

    岭回归(Ridge Regression)是在平方误差的基础上增加正则项

,

通过确定的值可以使得在方差和偏差之间达到平衡：随着的增大，模型方差减小而偏差增大。

    对求导，结果为

令其为0，可求得的值：

三、实验的过程

    我们去探讨一下取不同的对整个模型的影响。

那么这个图什么意思呢？

(横轴是循环次数就是相关岭系数 纵轴是回归系数) 从图像中可以看出，在这八个系数中有两个距离0比较远，所以数据的主要预测就可以依靠这两个系数

MATLAB代码

主函数

代码的数据集可以网上搜，github上就有。

岭回归求回归系数的函数

function [ w ] = ridgeRegression( x, y, lam )  
    xTx = x'*x;  
    [m,n] = size(xTx);  
    temp = xTx + eye(m,n)*lam;  
    if det(temp) == 0  
        disp('This matrix is singular, cannot do inverse');  
    end  
    w = temp^(-1)*x'*y;  
end

补充一些总结：

4.1 Ridge Regression （岭回归或脊回归）

代价函数

即在线性回归的代价函数后面加上一个惩罚项，对拟合函数进行平滑，防止过拟合。同样求导可得

岭回归通过引入2范数的惩罚项，损失了拟合的无偏性，但是此时在任何条件下都有解析解，换取了稳定性。

记训练集合，则后验概率

4.2 Lasso

代价函数

与岭回归不同的是，Lasso采用的惩罚项是1范数，因为1范数不可导，因此没有解析解，采用迭代求解，其求解方法有很多，如最小角回归，其形式和sparse coding中的编码过程一致，因此sparse coding常用的方法如 

feature-sign search算法。

Lasso得到的结果是稀疏的，因此相比于岭回归，Lasso还有特征选择的作用，从下图可以看出

概率解释

与岭回归相同，采用极大后验概率估计的方法，只是此时的先验概率为：

4.3 Elastic net 

代价函数

Elastic net 将岭回归和Lasso的代价函数组合到一起。