西瓜书读书笔记（二）-模型评估与选择

全部笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴

一、经验误差与过拟合

我们把学习器的实际预测输出与样本的真实输出之间的差异称为 “误差” （error)，学习器在训练集上的误差称为“训练误差”（training error）或 “经验误差”，在新样本上的误差称为“泛化误差”。显然我们的目的时找一个泛化误差小的学习器，但因为我们事先不知道新样本是怎样的，所以只能努力使经验误差最小化。但是当经验误差足够小，甚至对所有的训练样本都分类正确，会产生过拟合。

多种因素可能导致过拟合，其中最常见的情况是由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于学习能力低下而造成的欠拟合比较容易克服，例如在决策树学习中扩展分支、 在神经网络学习中增加训练轮数等，而过拟合则很麻烦。

二、评估方法

1. 留出法：将数据集分为训练集和测试集。
2. 交叉验证法：例如分成1、2、3、4四部分，我们可以先以1、2、3为训练集，以4为测试集；然后以1、2、4为训练集，以3为测试集…
3. 自助法：以自主采用法为基础，适用于数据集较小、难以有效划分训练/测试集时很有用；此外他也能从原始数据中产生多个不同的训练集，对集成学习很有帮助。

调参和模型选择也同样重要，大多数的学习算法的参数都需要设定，参数的细小差别可能会对产生的模型性能产生显著的变化。

三、性能度