正则化（L1正则化、L2参数正则化）

正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。

L1范数正则化

L1范数正则化（ L1 regularization 或 lasso ）是机器学习（machine learning）中重要的手段，在支持向量机（support vector machine）学习过程中，实际是一种对于成本函数(cost function)求解最优的过程，因此，L1范数正则化通过向成本函数中添加L1范数，使得学习得到的结果满足稀疏化(sparsity)，从而方便人们提取特征。

L1范数（L1 norm）是指向量中各个元素绝对值之和



在规则化参数的同时最小化误差（最小二乘法的原理）。最小化误差是为了让模型拟合训练数据，而规则化参数是防止模型过分拟合训练数据。因为参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差会很小。但训练误差小并不是最终目标，目标是希望模型的测试误差小，也就是能准确的预测新的样本。所以，需要保证模型“简单”的基础上最小化训练误差，这样得到的参数才具有好的泛化性能（也就是测试误差也小），而模型“简单”就是通过规则函数来实现的。另外，规则项的使用还可以约束模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中，强行地让学习到的模型具有人想要的特性，例如稀疏、低秩、平滑等等。

L2参数正则化

主要用来防止模型过拟合，直观上理解就是L2正则化是对于大数值的权重向量进行严厉惩罚。鼓励参数是较小值，如果w小于1，那么$w^2$会更小。

对应的损失函数：