机器学习（3）：信息检索指标-查准率（Precision）,查全率（Recall）,平均准确率(mAP)_信息检准率平均值法算法

 一.查准率和查全率

查准率=准确率（Precision）=检索到的该类图像/检索到的所有图像数

 

查全率=召回率（Recall）=检索到的该类图像/数据库中所有的该类图像

 

二.MAP(Mean Average Precision)平均精度均值

MAP可以由它的三个部分来理解：P,AP,MAP

P（Precision）精度，正确率。在信息检索领域用的比较多，和正确率一块出现的是召回率Recall。对于一个查询，返回了一系列的文档，正确率指的是返回的结果中相关的文档占的比例，而召回率则是返回结果中相关文档占所有相关文档的比例。相关概念如上。

MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。

对一个搜索引擎或推荐系统而言返回的结果必然是有序的，而且越相关的文档排的越靠前越好，于是有了AP的概念。对一个有序的列表，计算AP的时候要先求出每个位置上的precision，然后对所有的位置的precision再做个average。

多类别识别中，每类物体都可以根据查全率和查准率画出一条曲线，AP就是该曲线下的面积，mAP就是多类别的AP面积的平均值。

例1：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。

某系统对于主题1检索出4个相关网页，其rank分别为1, 2, 4, 7；对于主题2检索出3个相关网页，其rank分别为1,3,5。

对于主题1，平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。

对于主题 2，平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。

 

例2：分析图为主题1有五个相关，主题2有三个相关。主题一rank为1,3,6,9,10,主题二rank为2,5,7.

1/1，2/3，3/6，4/9，5/10

1/2，2/5，3/7

例3：

若该位置返回的结果相关，计算该位置的正确率，若不相关，正确率置为0。若返回的这四个的相关文档排在1,2,3,4号位，则对于的正确率都为1，AP也就等于1，可见计算方法是对排序位置敏感的，相关文档排序的位置越靠前，检出的相关文档越多，AP值越大。

 

 

例4：

比如一个数据库，男5人，女5人

系统1搜索女，结果排序如下：

1 女

2 男

3 男

4 男

5 女

6 女

7 女

 

系统2 搜索女，结果排序如下：

 

1 女

2 女

3 女

4 女

5 男

6 男

7 男

 

对于系统1：
查全率=系统检索到的相关文件 / 系统所有相关的文件总数=4/5
准确率=系统检索到的相关文件 / 系统所有检索到的文件总数=4/7
mAP=（1/1+2/5+3/6+4/7）/5
对于系统2：
查全率=系统检索到的相关文件 / 系统所有相关的文件总数=4/5
准确率=系统检索到的相关文件 / 系统所有检索到的文件总数=4/7
mAP=（1/1+2/2+3/3+4/4）/5

 

 

结论：系统1和系统2，查全率和准确率相同，此时用mAP来衡量系统好坏，更加有效。