深度学习评估方法--留出法、交叉验证法、自助法_留出法,交叉验证法,自助法各自的特点
赞
踩
目录
1.2.1 “k折交叉验证”（k-fold cross validation）
1.2.2 留一法（Leave-one-out，简称LOO）
1、评估方法：
测试集要尽可能地与训练集互斥，即测试样本尽量不在训练集中出现，未在训练过程中出现过。
测试集和训练集为什么要互斥呢？
类比：
训练集~模拟试卷，测试集~正式考试试卷。
这俩要有题一样的那肯定会影响测试结果。
1.1 留出法（hold-out）
留出法是直接将数据集D划分为两个互斥的集合，其中一个作为训练集S，另一个作为测试集T。
值得注意的是：
训练/测试集的划分要尽可能的保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。常用采样方式为“分层采样”。
例如：
数据集D：1000，训练集：700，测试集：300.
若数据集D包含500正例，500反例。
那么采样结果是训练集得有350正例，350反例，测试集有150正例150反例。
类比：
训练集~模拟试卷，测试集~正式考试试卷。
模拟卷和测试卷考题的类型得分布一样，不然训练就达不到效果。
单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。
1.2 交叉验证法（cross validation）
1.2.1 “k折交叉验证”（k-fold cross validation）
就是将数据集D划分为k个大小相似、分层采样的互斥子集。
1.2.2 留一法（Leave-one-out，简称LOO）
留一法：k折交叉检验中数据集D中包含m个样本，k=m，留一法不受划分方式的印象，每一个样本都是一个子集。
优点：评估结果往往被认为是比较准确的
缺点：数据集比较大的时候，训练m个模型的计算开销难以承受。
1.3 自助法
假设数据集D有m个样本，通过抽取放回的方式从数据集D中抽取m个样本。这抽取出的m个样本就是D’，当然D中数据集肯定有部分样本从来没被抽到过，那么没被抽到过的这些数据集就能用作测试集D \ D'，训练集为D'。
（注：\ 表示的是集合减法）
没被抽到的数据可以做个简单的估计：
也就是说有1/3的数据会抽不到。
优点：自助法在数据集小、难以有效划分训练/测试集时很有用。
缺点：自助法产生的数据改变了初始数据集的分布，这会引入估计偏差。
