MS COCO数据集的评价标准以及不同指标的选择推荐（AP、mAP、MS COCO、AR、@、0.5、0.75、1、目标检测、评价指标）_ms coco dataset

目标检测模型性能衡量指标、MS COCO 数据集的评价标准以及不同指标的选择推荐

0. 引言

0.1 COCO 数据集评价指标

目标检测模型通过 pycocotools 在验证集上会得到 COCO 的评价列表，具体参数的含义是什么呢？

0.2 目标检测领域常用的公开数据集

1. PASCAL VOC
2. Microsoft COCO（MS COCO）

在 MS COCO 数据集出来之前，目标检测基本上用的是 PASCAL VOC 数据集，现在 MS COCO 非常流行。这两个数据集均有自己的评判标准。

0.3 COCO（Common Objects in Context，上下文中的常见对象）数据集简介

0.3.1 介绍

COCO 数据集是一个可用于图像检测（Image Detection），语义分割（Semantic Segmentation）和图像标题生成（Image Captioning）的大规模数据集。它有超过 330K 张图像（其中 220K 张是有标注的图像），包含

• 150 万个目标
• 80 个目标类别（object categories：行人、汽车、大象等）
• 91 种材料类别（stuff categoris：草、墙、天空等）
• 每张图像包含五句图像的语句描述
• 且有 250, 000 个带关键点标注的行人

MS COCO官网：https://cocodataset.org/#home

0.3.2 MS COCO 可以应用的任务

1. 目标检测（object detection）：使用 bounding box 或者 object segmentation (也称为instance segmentation)将不同的目标进行标定。

2. Densepose（密集姿势估计）：DensePose 任务涉及同时检测人、分割他们的身体并将属于人体的所有图像像素映射到身体的3D表面。用于不可控条件下的密集人体姿态 估计。

   

3. Key-points detection（关键点检测）：在任意姿态下对人物的关键点进行定位，该任务包含检测行人及定位到行人的关键点。

   

4. Stuff Segmentation（材料细分）：语义分割中针对 stuff class 类的分割（草，墙壁，天空等）

   

5. Panoptic Segmentation（全景分割）：其目的是生成丰富且完整的连贯场景分割，这是实现自主驾驶或增强现实等真实世界视觉系统的重要一步。

   

6. image captioning（图像标题生成）：根据图像生成一段文字。

   

0.3.3 COCO 的 80 个类别

1. 目标检测中常见的指标

对于这样一张图片，怎样才能算检测正确呢？其中，绿色为 GT，红色为预测框。

• IoU 大于指定阈值？
• 类别是否正确？
• confidence 大于指定阈值？

以上三点都是我们需要考虑的。

1.1 TP、FP、FN

1.1.1 定义

• TP（True Positive）：预测正确的预测框数量 [IoU > 阈值]（同一个 GT 只计算一次）
• FP（False Positive）：检测到是同一个 GT 的多余预测框的数量 [IoU < 阈值]（或者是检测到同一个 GT 的多余预测框的数量）
• FN（False Negative）：没有检测到 GT 的预测框数量 [漏检的数量]

• 阈值根据任务进行调整，一般选择 0.5
• FP 就是“假阳性”，就是模型误认为是 TP

1.1.2 例子说明 TP、FP、FN

举个例子理解 TP、FP、FN：

对于张图片来说，绿色 为 GT，红色 为模型预测框，IoU 阈值设置为 0.5。

• 对于中间这只猫来说，在 绿色框（GT） 中的 预测框（红色） 和 绿色框 的 IoU 肯定是 >0.5 的，所以它应该是一个 TP（预测对了目标且 IoU > 阈值）；而对于 偏左的预测框 来说，它和 GT 的 IoU 肯定是不足 0.5 的，加之因为有 TP 的存在，所以它是 FP。
• 对于右下角的那只猫，GT 是有的，但模型并没有给出对应的预测框，因此模型对于这只猫来说，漏检了，故 FN 的数量为 1。

1.2 AP（Average Precision，平均精度）

1.2.1 Precision

$$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}$$

解释：模型预测的所有目标（Object）中，预测正确的比例 -> 查准率

模型认为正确的目标 中 确实预测对了多少

---

那么仅仅通过 Precision 这个指标能不能全面衡量模型的检测能力呢？举个例子进行说明：

同样的，绿色的为 Ground Truth，红色的为 预测框。

上面这张图片有 5 个目标，但是网络只针对猫 ① 给出了预测框（红色的），剩下的猫都没有检测出来。这里的 TP=1，FP=0。所以此时的 Precision 为：

P r e c i s i o n = T P T P + F P = 1 1 + 0 = 1 = 100 %

$$\begin{aligned} \mathrm{Precision} & = \mathrm{\frac{TP}{TP+FP}} \\ & = \frac{1}{1 + 0} \\ & = 1\\ & = 100\% \end{aligned}$$ Precision​=TP+FPTP​=1+01​=1=100%​

很明显对于这张图片网络漏检了 4 个目标，但 Precision 又显示结果是非常好的。因此我们就可以知道了，仅仅通过 Precision 无法评判检测网络的性能。为了解决这个问题，我们引入了另外一个指标 —— Recall。

1.2.2 Recall

$$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}$$

解释：所有真实目标中，模型预测正确的比例 -> 查全率

本应该检测对的，模型检测对了多少

那么我们只使用 Recall 这个指标来判定模型的好坏吗？举个例子说明：

这张图片和上一张图片类似，网络总共预测出了 50 个预测框（即 50 个目标）。这 50 个预测框中包括了所有要检测的目标，那么该网络针对这张图片的 Recall 为：

R e c a l l = T P T P + F N = 1 1 + 0 = 1 = 100 %

$$\begin{aligned} \mathrm{Recall} & = \mathrm{\frac{TP}{TP+FN}} \\ & = \frac{1}{1 + 0} \\ & = 1\\ & = 100\% \end{aligned}$$ Recall​=TP+FNTP​=1+01​=1=100%​

很明显，单单使用 Recall 无法评判模型的好坏。所以我们需要同时使用 Precision 和 Recall 这两个指标来进行网络性能的评判，即引入 —— AP。

1.2.3 AP —— P-R 曲线下面积

AP 就是P-R曲线下方的面积，而 P-R 分别为 Precision 和 Recall。

假设模型已经训练完毕，验证集为下面 3 张图片：

1.2.3.1 第一张图片

首先判断该图片中有几个目标（GT）？很明显绿色的框有两个，所以有两个 GT，即

$$\mathrm{nu}{\mathrm{m}}_{\mathrm{obj}}=0+2=2。$$

接下来同一个列表统计网络所检测到的目标信息：

Note:

• GT id 为 预测框匹配的 GT 的 id；Confidence 为预测框的置信度（是此类别的概率）；OB 为判断该预测框是否是 TP。
• 该表从上到下的顺序是根据 Confidence 降序排列的
• 对于 GT id = 2，网络并没有给出预测框，所以表中没有相关信息

1.2.3.2 第二张图片

这张图片中目标的个数（绿色的框）有 1 个，所以累积目标个数：

$$\mathrm{nu}{\mathrm{m}}_{\mathrm{obj}}=2+1=3。$$

表也需更新：

1.2.3.3 第三张图片

累积目标个数：

$$\mathrm{nu}{\mathrm{m}}_{\mathrm{obj}}=3+4=7。$$

更新表：

1.2.3.4 计算 AP

得到表以后，我们计算针对不同 Confidence（即取不同 Confidence 阈值）得到的 Precision 和 Recall 的信息）。

1. 首先将 Confidence 的阈值设置为 0.98（Confidence ≥ 0.98 的目标才算匹配正确），只有一个预测框符合条件（表中的第一行）。

   • TP = 1; FP = 0; FN = 6

   在 Confidence≥0.98 的条件下，TP=1 没什么问题；FP=0 是因为阈值的存在；FN=6 是因为累积目标个数 num_ob=7，所以 $\mathrm{FN}=num\_ob-\mathrm{TP}=7-1=6$。因此我们可以得到$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{1}{1+0}=1$和$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{1}{1+6}=0.14$
   Note：这个TP; FP; FN是看那个表，就不区分什么第几张图片了，看表就可以。

2. 将 Confidence 阈值设置为 0.89

   • 此条件下，TP = 2; FP = 0; FN = num_ob - TP = 7 - 2 = 5，我们可以得到 Precision 和 Recall

3. …

4. 将 Confidence 阈值设置为 0.66

   • 此条件下，TP=4; FP=1; FN=num_ob-TP=7-4=3，我们可以得到$\mathrm{Precision}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FP}}=\frac{4}{4+1}=0.80$和$\mathrm{Recall}=\frac{\mathrm{TP}}{\mathrm{TP}+\mathrm{FN}}=\frac{4}{4+3}=0.57$

5. …

全部计算完毕后，结果如下表所示。

我们可以根据求得的一系列的 Precision 和 Recall 绘制 P-R 曲线。以 Recall 为横坐标，Precision 为纵坐标得到 P-R 曲线，如下图所示。

在绘制 P-R 曲线时需注意：对于 Recall（横坐标）需要滤除一些重复数据（图中用框框住的即为参与计算的点，有两个点没有被框，它俩不参与 AP 的计算）。根据表中的数据可知，Recall=0.57 有 3 个值，此时需保留 Precision 最大的值，即：

图中阴影部分的面积就是 AP，计算如下（重复的 Recall 已经滤除）：

R e c a l l = ∑ i = 1 R a n k ( R e c a l l i − R e c a l l i − 1 ) × max ⁡ ( P r e c i s i o n i , . . . , R a n k ) R e c a l l = ∑ i = 本行 R a n k ( R e c a l l 本行 − R e c a l l 上一行 ) × 本行及以下最大的 P r e c i s i o n

$$\begin{aligned} \mathrm{Recall} & = \sum_{i=1}^{\mathrm{Rank}} (\mathrm{Recall}_i -\mathrm{Recall}_{i-1}) \times \max(\mathrm{Precision}_{ i, ..., \mathrm{Rank}}) \\ \mathrm{Recall} & = \sum_{i=本行}^{\mathrm{Rank}} (\mathrm{Recall}_{本行} -\mathrm{Recall}_{上一行}) \times 本行及以下最大的\mathrm{Precision} \end{aligned}$$ RecallRecall​=i=1∑Rank​(Recalli​−Recalli−1​)×max(Precisioni,...,Rank​)=i=本行∑Rank​(Recall本行​−Recall上一行​)×本行及以下最大的Precision​

根据公式可以求得阴影的面积，即 AP 为：

R e c a l l = ( 0.14 − 0 ) × 1.0 + ( 0.28 − 0.14 ) × 1.0 + ( 0.42 − 0.28 ) × 1.0 + ( 0.57 − 0.42 ) × 1.0 + ( 0.71 − 0.57 ) × 0.71 = 0.6694

$$\begin{aligned} \mathrm{Recall} & = (0.14 - 0) \times 1.0 + (0.28 - 0.14) \times 1.0 + (0.42 - 0.28) \times 1.0 + (0.57 - 0.42) \times 1.0 + (0.71 - 0.57) \times 0.71 \\ & = 0.6694 \end{aligned}$$ Recall​=(0.14−0)×1.0+(0.28−0.14)×1.0+(0.42−0.28)×1.0+(0.57−0.42)×1.0+(0.71−0.57)×0.71=0.6694​

了解完 AP 后我们就可以进一步得到一个新的指标 —— mAP。

1.3 mAP(mean Average Precision，即各类别 AP 的平均值)

mAP 就是各类别 AP 的平均值，计算公式如下：

$$\mathrm{mAP}=\frac{1}{\mathrm{nc}}\sum _{\mathrm{i}=1}^{\mathrm{nc}}\mathrm{A}{\mathrm{P}}_{\mathrm{i}}$$

其中 nc 为类别数。

1.4 注意事项

以上的 TP、FP、FN 都是经过 NMS 处理后得到的预测框。

2. MS COCO 评价指标中每条数据的含义

MS COCO 官网说明：https://cocodataset.org/#detection-eval

Note：图片中虽然写的是 AP，但实际上表示的是 mAP。

2.1 Average Precision (AP)

1. $\mathrm{AP}$：MS COCO 的主要评价指标，设置的 IoU 阈值为 IoU = range(0.5, 1.00, 0.05) 共 10 个 IoU 的 mAP 的均值，计算公式如下：
   $$\mathrm{AP}=\frac{1}{10}(\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.5}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.55}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.60}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.65}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.70}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.75}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.80}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.85}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.9}+\mathrm{mA}{\mathrm{P}}^{\mathrm{IoU}=0.95})$$
2. $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.50$：将 IoU 阈值设置为 0.5 得到的 mAP 值（就是上面我们举的例子），这个取值也是 PASCAL VOC 的评价指标。
3. $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.75$：是更加严格的标准（因为 IoU 的阈值越大，说明网络预测框与 GT 重合度越来越高 -> 目标的定位越来越准，这对网络来说是很难的）。

2.2 Across Scales

1. AP^small：mAP 针对小目标 若检测目标（GT）的像素面积小于 $32^2$，则将其归为小目标 ——衡量网络对于小目标的平均查准率
2. AP^medium：mAP 针对中目标 若检测目标（GT）的像素面积在 $[32^2,96^2]$ 之间，则将其归为中目标 ——衡量网络对于中等目标的平均查准率
3. AP^large：mAP 针对大目标 若检测目标（GT）的像素面积大于 $96^2$，则将其归为大目标 ——衡量网络对于大目标的平均查准率

通过这三个指标可以看出该目标检测网络对于不同尺度目标的检测效果。如果我们的任务需要检测的目标都是较小的，我们应该更加关注与 $\mathrm{A}{\mathrm{P}}^{\mathrm{small}}$ 参数而不是 $\mathrm{A}{\mathrm{P}}^{\mathrm{large}}$。

2.3 Average Recall (AR)

对于目标检测网络，在代码部分会限制每张图片最终预测框的数量，这里的 max 就是这个数量。如 max=100，即每张图片最终预测 100 个预测框。而这里的 $\mathrm{A}{\mathrm{R}}^{\max }=100$ 就表示在每张图片预测框阈值为 100 的情况下，平均的查全率（Recall）是多少。

1. $\mathrm{A}{\mathrm{R}}^{\max }=1$：在每张图片预测框数量阈值为 1 的情况下，平均的查全率（Recall）是多少
2. $\mathrm{A}{\mathrm{R}}^{\max }=10$：在每张图片预测框数量阈值为 10 的情况下，平均的查全率（Recall）是多少
3. $\mathrm{A}{\mathrm{R}}^{\max }=100$：在每张图片预测框数量阈值为 100 的情况下，平均的查全率（Recall）是多少

从上图可以看到，$\mathrm{A}{\mathrm{R}}^{\max }=100=64\%$，$\mathrm{A}{\mathrm{R}}^{\max }=10=63.3\%$，$\mathrm{A}{\mathrm{R}}^{\max }=1=45.2\%$。这说明 max 取 100 和取 10 相差不大，进一步说明了，模型训练时使用的数据集每张图片中目标（GT）的数目并不是很多，基本上在 10 左右；而当预测框数量限制在 1 时，它的 AR 仅为 45.2%，说明每张图片的目标个数一般是 >1 的。

2.4 AR Across Scales

与 AP、AP across scales 类似，AR across scales 表示对应不同目标尺度的 AR。

1. $\mathrm{A}{\mathrm{R}}^{\mathrm{small}}$：AR 针对小目标 若检测目标（GT）的像素面积小于 $32^2$，则将其归为小目标 ——衡量网络对于小目标的平均查全率（Recall）
2. $\mathrm{A}{\mathrm{R}}^{\mathrm{medium}}$：AR 针对中目标 若检测目标（GT）的像素面积在 $[32^2,96^2]$ 之间，则将其归为中目标 ——衡量网络对于中等目标的平均查全率（Recall）
3. $\mathrm{A}{\mathrm{R}}^{\mathrm{large}}$：AR 针对大目标 若检测目标（GT）的像素面积大于 $96^2$，则将其归为大目标 ——衡量网络对于大目标的平均查全率（Recall）

3. 各种指标的选择 —— 基于不同的任务

不同的任务需要使用不同的指标。

3.1 mAP

• 于 PASCAL VOC 的 mAP 来说，$\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.50$ 是要看的，因为它是 PASCAL VOC 的主要评价指标。
• 对于 MS COCO 数据集来说，$\mathrm{AP}$（第一行，10 个 mAP 的平均）是要看的，因为它是 MS COCO 的主要评价指标。
• 如果我们对 目标框定位精度要求较高 的话，我们可以关注 $\mathrm{A}{\mathrm{P}}^{\mathrm{IoU}}=0.75$
• 如果我们对 小目标检测要求比较高 的话，我们可以关注 $\mathrm{A}{\mathrm{P}}^{\mathrm{small}}$，通过这个值可以了解网络对于小目标检测的平均查准率（整体情况）
• 如果我们对 中目标检测要求比较高 的话，我们可以关注 $\mathrm{A}{\mathrm{P}}^{\mathrm{medium}}$
• 如果我们对 大目标检测要求比较高 的话，我们可以关注 $\mathrm{A}{\mathrm{P}}^{\mathrm{large}}$

3.2 AR

主要关注下面两个指标：

1. $\mathrm{A}{\mathrm{R}}^{\max }=10$
2. $\mathrm{A}{\mathrm{R}}^{\max }=100$

如果它俩 AR（平均查全率）相差很小的话， 可以减少网络预测框的个数，从而提高目标检测的效率。

参考

1. 目标检测mAP计算以及coco评价标准
2. COCO数据集介绍