AAAI 2024 | 浙大赵天成博士团队提出全新评测基准OVDEval，全面审视开放词汇目标检测模型的泛化能力...

随着近年来视觉-语言预训练的发展，目标检测领域的研究范式正在经历从确定标签集合的闭集（closed set labels）向开放词汇检测（open-vocabulary detection，简称 OVD）的转变。然而，现有的 OVD 评测方法和数据集仅限于评测 OVD 模型在不同物体类别和指代描述（referfal expression）上的泛化性，不能对 OVD 模型的能力给出系统的细粒度评估。

由赵天成博士领衔的浙大滨江研究院团队意识到现有评测基准的不足，设计了名为 OVDEval 的全新 benchmark，以全面地重新审视 OVD 模型的泛化能力。主要贡献与亮点如下：

• 数据资源方面，贡献了全面而有挑战性的细粒度测试数据：OVDEval 包含 9 个子集、6 类细粒度属性，首次在 OVD 模型的评估中引入了常识、属性理解、位置理解、物体关系理解等细粒度方面的属性标签，而且包含挑战性高的难负例；

• 评测指标方面，设计了更适合细粒度标签的新指标 NMS-AP：指出了传统的目标检测评测指标平均准确率（Average Precision，简称 AP）在细粒度评测上的不足，设计了新指标非极大值抑制平均准确率（Non-MaximumSuppression Average Precision，简称 NMS-AP）来解决该问题，为 OVD 模型的细粒度评测提供更可靠的指标；

• 评测结果方面，指出了现有 OVD 模型在细粒度新任务上的泛化性有待提升：GLIP、Grounding DINO、OmDet 和 Detic 等流行的 OVD 模型在 OVDEval 上的评测结果显示，它们在除简单的物体类别外的细粒度新任务上的表现都是失败的，这表明现有 OVD 模型的泛化性能还有巨大的提升空间，为目标检测领域未来的研究指明了新方向。

日前，OVDEval 成果论文被人工智能国际顶会 AAAI 2024 录用，数据已开源。本文将详细解读 OVDEval 在开放词汇目标检测模型的评测数据资源、评测指标与对现有模型评测结果三方面的贡献。

论文标题：

How to Evaluate the Generalization of Detection? A Benchmark for Comprehensive Open-Vocabulary Detection

收录会议：

AAAI 2024

论文链接：

https://arxiv.org/pdf/2308.13177.pdf

数据开源：

https://github.com/om-ai-lab/OVDEval

数据资源：首个系统的细粒度评测基准数据集，OVD研究的新灯塔

随着视觉-语言预训练技术的发展，GLIP [1]、Grounding DINO [2]、OmDet [3] 等多模态预训练模型已经可以在 COCO 这样的目标检测经典数据集上取得出色的零样本推理效果，这类预训练的开放词汇检测（open-vocabulary detection，简称 OVD）模型的性能甚至超过了部分传统的闭集