机器学习笔记-第二章模型评估与选择2_二项检验 机器学习

比较检验

对学习结果进行性能比较，本节默认以错误率为性能度量，用$ϵ$表示。

1 假设检验

泛化错误率$ϵ$：在一个样本上犯错的概率是$ϵ$。
测试错误率$\widehat{ϵ}$：在$m$个测试样本中恰有$\widehat{ϵ}\times m$个被误分类。

泛化错误率为$ϵ$的学习器将其中$m^{\prime }$个样本误分类、其余样本全部分类正确的概率是${ϵ}^{m^{\prime }}(1-ϵ{)}^{m-m^{\prime }}$。
将$\widehat{ϵ}\times m$个样本误分类的概率为：（在包含$m$个样本的测试集上，泛化错误率为$ϵ$学习器被测得测试错误率为$\widehat{ϵ}$的概率）
P ( ϵ ^ ; ϵ ) = ( m ϵ ^ × m ) ϵ ϵ ^ × m ( 1 − ϵ ) m − ϵ ^ × m P(\hat{\epsilon};\epsilon)=\left(

$$\begin{array}{c} m \\ \hat{\epsilon}\times m \end{array}$$ \right)\epsilon^{\hat{\epsilon}\times m}(1-\epsilon)^{m-\hat{\epsilon}\times m} P(ϵ^;ϵ)=(mϵ^×m​)ϵϵ^×m(1−ϵ)m−ϵ^×m

• 方法一：二项检验
  一次留出法估计：
  
  结论：
  
• 方法二：t 检验
  交叉验证法：
  
  结论：
  对假设“$\mu ={\epsilon }_0$”和显著度$\alpha$，计算当测试错误率均值为${\epsilon }_0$时，在$1-\alpha$概率内的最大错误率，即为临界值。使用双边t检验。

2 交叉验证$t$检验

针对多个学习器，使用k折交叉验证“成对t检验”，验证${\epsilon }_i^A={\epsilon }_i^B$.

3 McNemar检验

针对二分类问题，列出两学习器分类差别列联表，假设两学习器性能相同，McNemar检验考虑变量$\frac{(|e_{01}-e_{10}|{)}^2}{e_{01}+e_{10}}$服从自由度为1的卡方分布，给定显著度$\alpha$，当以上变量小于临界值${\chi }_{\alpha }^2$时，不能拒绝假设，否则认为两者性能有显著差别，且平均错误率较小的那个学习器性能较优。

4 Friedman检验与Nemenyi后续检验

前两个检验方法都是在一个数据集上进行比较两个算法，该节方法适用于比较多个算法。Friedman检验使用服从自由度为$k-1$和$(k-1)(N-1)的F$分布，当假设被拒绝时，再使用Nemenyi后续检验。

偏差与方差

泛化误差可分解为偏差、方差与噪声之和。

• 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
• 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
• 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。