机器学习笔记第二章模型估计与选择

作者：神奇cpp | 2024-07-27 02:58:56

踩

机器学习笔记第二章模型估计与选择

2.1 经验错误与过拟合

泛化误差：在“未来”样本上的误差。

经验误差：在训练集上的误差，亦称“训练误差”。

显然，泛化误差越小越好，但是，我们事先并不知道新样本，实际能做的是努力使经验误差最小化。遗憾的是，经验误差过小会导致“过拟合”。

当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。相反，“欠拟合”是指训练样本的一般性质尚未学好。

模型选择需要解决三个关键问题，即如何获得测试结果？如何评估性能优劣？如何判断实质差别？针对以上三个问题，分别对应评估方法、性能度量和比较经验。

2.2 评估方法

通常我们可通过实验测试来对学习器的泛化误差进行评估并进而做出选择。为此，需使用一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。需要特别注意的是，测试集和训练集是互斥的。对于一个数据集，如何做到既训练又测试呢？我们可以对数据集进行适当处理，从而产生训练集和测试集，下面有三种常见做法。

2.2.1 留出法

“留出法”直接将数据集D划分为互斥的训练集S和测试集T，即 $D=S\cup T,S\cap T= \varnothing$ 。在S上训练出模型后，用T来估计其测试误差，作为对泛化误差的估计。需要注意的是，训练集和测试集的划分要尽可能保持数据分布的一致性，且要多次重复划分。同时，测试集不能太大、不能太小，常见做法是 $1/3\sim 1/5$ 的样本用于测试。

2.2.2 交叉验证法

“交叉验证法”先将数据集D划分为k个大小相似的互斥子集，即 $D=D_{1}\cup D_{2}\cup ...\cup D_{k}$ ， $D_{i}\cap D_{j}=\varnothing (i\neq j)$ 。每个子集都从D中分层采样得到，然后，每次选择一个子集作为测试集，余下k-1个子集作为训练集。这样就可以获得k组训练集和测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。

2.2.3 自助法

“自助法”是一个比较好的解决方案。给定包含m个样本的数据集D，采样产生数据集 ${D}'$ ：每次从D中随机挑选一个样本，将其拷贝放入 ${D}'$ ，然后再将该样本放回初始数据集D中；这个过程重复执行m次后，我们得到包含m个样本的数据集 ${D}'$ ，这就是自助采样的结果。样本在m次采样中始终不被采到的概率是 $(1-\frac{1}{m})^{m}$ ，取极值得到