正则化-代价函数_正则化代价函数

正则化背后的思想

左下图我们可以看到，在房价问题中，用一个二次函数来拟合数据 ，该模型对数据有很好的拟合。 然在右图中，如果我们用一个更高次的 项式去拟合数据， 我们可能得到一个曲线，能非常好地拟合训练集 ，但是会出现过拟合现象，不能很好的泛化新样本。

为什么会这样呢？
从左右图对比可以看出，正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于 0 的话，我们就能很好的拟合了。

所以我们要做的就是在一定程度上减小这些参数θ的值，这就是正则化的基本方法。我们决定要减少θ3和θ4的大小，我们要做的便是修改代价函数，在其中θ3和θ4设置一点惩罚。

现在对我们的代价函数做一些修改，加入惩罚项。
原代价函数：

加入惩罚项后的代价函数：

我们要使修改后的代价函数尽可能小，其实就是使θ3和θ4尽可能小，即θ3和θ4尽可能的接近于0。如图右侧所示，实际上就是去掉了三次向和四次项，此时该函数就相当于二次函数。

通过增加惩罚项，在一定程度上减小这些参数θ的值，这就是正则化背后的思想。

正则化参数λ

如果将所有的参数都加上惩罚项，就相当于尽量去简化假设模型。当这些参数越小时，得到的函数曲线越平滑，也越简单，也更不容易出现过拟合现象。

假设房价问题中，有100个特征项，而你又不知道哪个更重要，那么唯一的方法就是缩小所有的参数。在原代价函数后面，加入一个额外的正则项，来缩小每一个参数，如下图所示。
注：根据惯例，我们不对θ0进行惩罚

正则化的代价函数如下：
其中λ称为正则化参数，正则化参数的作用就是，控制两个不同目标之间的平衡。
第一个目标，与目标函数的第一项有关（更好的拟合数据）
第二个目标，与目标函数的第二项有关（与正则化目标有关），保持参数尽量的小。
从而保持假设模型的相对简单，避免出现过拟合现象。

在房价预测问题中，下图蓝色曲线为高阶多项式拟合的结果，如果想保留所有高阶项的特征，只需加入正则项，就可以得到这条洋红色平滑的曲线。这条洋红色曲线不是二次函数，但比二次函数更平滑更简单。

如果选择的正则化参数 λ 过大， 则会把所有的参数都最小化了， 导致模型变成 ℎθ(x) =θ0，也就是上图中红色直线所示的情况，造成欠拟合。

为什么增大正则化参数 λ，可以使参数θ变小呢？

因为如果我们令 λ 的值很大的话，为了使代价函数 尽可能的小，所有的θ的值（不包括θ0）都会在一定程度上减小。但若 λ 的值过大， 那么θ都会趋近于 0，这样我们所得到的只能是一条平行于x轴的直线。

所以对于正则化，我们要取一个合理的 λ 的值，这样才能更好的应用正则化。