准确率（accuracy），精确率（Precision），召回率（Recall）和综合评价指标（F1-Measure ）_精确度(precision)、召回率(recall)、准确度(accuracy)作为评价指标

作者：花生_TL007 | 2024-04-02 18:24:29

踩

精确度(precision)、召回率(recall)、准确度(accuracy)作为评价指标

自然语言处理(ML),机器学习(NLP),信息检索(IR)等领域,评估(evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(accuracy),精确率(Precision),召回率(Recall)和F1-Measure。

本文将简单介绍其中几个概念。中文中这几个评价指标翻译各有不同，所以一般情况下推荐使用英文。

现在我先假定一个具体场景作为例子：

假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.
现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.
作为评估者的你需要来评估(evaluation)下他的工作

将挑选结果用矩阵示意表来表示：定义TP,FN,FP,TN四种分类情况

	相关(Relevant),正类	无关(NonRelevant),负类
被检索到(Retrieved)	TP 系统检索到的相关文档,例"其中20人是女生"	FP 系统检索到的不相关文档,例”错误把30个男生当女生“
未被检索到(Not Retrieved)	FN 相关系统未检索到的文档,例"未挑0人是女生"	TN 相关但是系统没有检索到的文档,例”未挑50人非女生“

准确率(accuracy)的公式是,其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。也就是损失函数是0-1损失时测试数据集上的准确率

A = (20+50) / 100 = 70%

精确率(precision)的公式是,它计算的是所有被检索到的item中,"应该被检索到"的item占的比例。

P = 20 / (20+30) = 40%

召回率(recall)的公式是,它计算的是所有检索到的item占所有"应该检索到的item"的比例。

R = 20 / (20 + 0) = 100%

综合评价指标(F-Measure)是Precision和Recall加权调和平均：

$F = \frac{(a^2+1)P*R} {a^2(P+R)} \hfill (3)$

当参数a=1时，就是最常见的F1了：

$F1 = \frac{2PR} {P+R} \hfill (4)$

P和R指标有的时候是矛盾的,综合考虑精确率(precision)和召回率(recall)这两个度量值。很容易理解，F1综合了P和R的结果，当F1较高时则比较说明实验方法比较理想。

F1 = 2*0.4*1 / （0.4 + 1） = 57%

准确率（Precision）、召回率（Recall）以及综合评价指标（F1-Measure）

在信息检索和自然语言处理中经常会使用这些参数，下面简单介绍如下：

准确率与召回率（Precision & Recall）

我们先看下面这张图来加深对概念的理解，然后再具体分析。其中，用P代表Precision，R代表Recall

一般来说，Precision 就是检索出来的条目中（比如：文档、网页等）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。

下面这张表介绍了True Positive，False Negative等常见的概念，P和R也往往和它们联系起来。

	Relevant	NonRelevant
Retrieved	true positives （tp）	false positives（fp）
Not Retrieved	false negatives（fn）	true negatives （tn）

那么，

$P=\frac{tp} {tp+fp} \hfill (1)$

$R=\frac{tp} {tp+fn} \hfill (2)$

我们当然希望检索的结果P越高越好，R也越高越好，但事实上这两者在某些情况下是矛盾的。比如极端情况下，我们只搜出了一个结果，且是准确的，那么P就是100%，但是R就很低（tp==1,fp==0,fn很大,tn==0）；而如果我们把所有结果都返回（全部都检索到了，不过检索到不相关的也有很多，即fp很大,fn==0），那么必然R是100%，但是P很低。

因此在不同的场合中需要自己判断希望P比较高还是R比较高。如果是做实验研究，可以绘制Precision-Recall曲线来帮助分析。

F1-Measure

前面已经讲了，P和R指标有的时候是矛盾的，那么有没有办法综合考虑他们呢？我想方法肯定是有很多的，最常见的方法应该就是F-Measure了，有些地方也叫做F-Score，其实都是一样的。

F-Measure是Precision和Recall加权调和平均：

$F = \frac{(a^2+1)P*R} {a^2(P+R)} \hfill (3)$

当参数a=1时，就是最常见的F1了：

$F1 = \frac{2PR} {P+R} \hfill (4)$

很容易理解，F1综合了P和R的结果，当F1较高时则比较说明实验方法比较理想。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/353298