机器学习：正则化、特征选择方法、特征降维、分类模型评估笔记_降维特征选择法线性模型和正则化

L1正则化和L2正则化
参考：https://blog.csdn.net/skyxmstar/article/details/56494563
正则化项即罚函数，该项对模型向量进行“惩罚”，从而避免单纯最小二乘问题的过拟合问题。训练的目的是最小化目标函数，则C越小，意味着惩罚越小，分类间隔也就越小，分类错误也就越少

L1范数是指向量中各个元素绝对值之和，用于特征选择; 得到稀疏解，即起到变量筛选的作用
L2范数 是指向量各元素的平方和然后求平方根，提升模型的泛化能力，使求解更优化， 模型更稳，既防止过拟合
L1与L2区别：使用L1可以得到稀疏的权值；用L2可以得到平滑的权值

L1 regularization（往0方向靠）
在原始的代价函数后面加上一个L1正则化项，即所有权重w的绝对值的和，乘以λ/n（这里不像L2正则化项那样，需要再乘以1/2，具体原因上面已经说过。）
L2 regularization（权重衰减）
L2正则化就是在代价函数后面再加上一个正则化项

机器学习中做特征选择时，可能用到的方法：
卡方、 信息增益、平均互信息、期望交叉熵、WOE、IV、Gini指数、相关性、Lasso、距离、正则化
特征降维的方法：
PCA，LLE，Isomap
SVD和PCA类似，也可以看成一种降维方法。
LDA:线性判别分析，可用于降维。

分类模型的评估

真正例（True Positive，TP）：真实类别为正例，预测类别为正例。
假正例（False Positive，FP）：真实类别为负例，预测类别为正例。
假负例（False Negative，FN）：真实类别为正例，预测类别为负例。
真负例（True Negative，TN）：真实类别为负例，预测类别为负例。
准确率(Accuracy)：
精确率(Precision)：又称为查准率(Precision, P)
召回率(Recall)：又称为查全率(Recall, R)
「F1值」：是精确率和召回率的调和均值