现阶段的reid问题主要分为两大类：closed-world和open-world。说人话就是，closed-world重在研究，主要是从一大堆行人的bounding box图片中去检索目标行人，而open-world重在“落地”，主要是直接从视频中去检索目标行人，或者是偏向无监督、弱监督学习。以下是两个world的具体区别。

1.1 Query和Gallery

在了解reid之前，我们需要知道什么是Query和Gallery。Query其实就是目标行人(person of interest)，而Gallery就是检索的库，也就是一大堆行人的照片或者视频。

宽泛地讲，Query和Gallery的形式有很多种，Query可以是一个行人的bounding box（照片）（一张或多张），也可以是一段视频，但是无论是图片还是视频，画面中一定只能有一个人例如：（图片取自Market-1501）

Gallery可以是从一整张画面截取的每个行人的bounding box，也可以是一段视频，例如：（图片取自Market-1501）

1.2 难点

reid最主要的难点就在于：

Gallery中同一个行人照片的视角不一样
光照条件不一样
行人在照片中的尺寸很小，也就导致了行人的bounding box像素很低
行人的姿势不一样
可能存在遮挡
...

而对于现实的“落地”，难点就更多了：

摄像机可能在不断增加，拍摄的场景也就更加复杂
Gallery十分巨大
训练时可能不存在标注的信息（也就是需要无监督或者弱监督学习）
对网络的泛化能力要求很高（跨域）
testing环节是未知的
行人可能换衣服了
...

1.3 总体步骤

看图吧，懒得废话了。

2 Closed-world Re-ID

2.1 表征学习

表征学习主要是研究如何提取一个行人的特征。主要有以下几种方法：

全局表征学习
局部表征学习
辅助表征学习
基于视频的表征学习
...

直观的对比可以看下面这张图：

全局表征学习：直接将行人图片送入卷积神经网络去提取特征，这对主干网络的精度要求很高。此外文章还着重介绍了注意力机制在这里的作用。

局部表征学习：将行人的图片进行分块，使用网络对每一块抽取特征，最后将所有局部特征结合起来。

辅助表征学习：在网络中加入一些辅助性的元素，比如可以加入一些描述行人外观视角的文字，或者加入一些Domain的描述，或者加入一张使用GAN网络生成的图片。这样做可以加强网络的精度。

基于视频的表征学习：对网络输入一系列的图片，对每个图片抽取特征，最后合成一个总特征。

此外，文章还着重讲述了网络结构设计的重要性。

2.2 度量学习

现阶段的度量学习主要是设计不同的损失函数，以及如何设计训练网络的策略。

损失函数主要有：identity loss, Verification loss, triplet loss, OIM loss，前三个损失函数的示意图如下：

在训练策略方面，着重解决以下几个问题：

行人（ID）的数量过多，需要在训练的每个batch中尽量多地选择ID进行训练。
对于每个ID，正样本数远远少于负样本数。

2.3 排序优化

先来讲一下什么是排序(rank)，在网络的预测阶段，需要对Gallery中的图片进行排序，排序越靠前的就是和Query越相似的，排序优化顾名思义就是优化排序这一阶段。

优化的主要方法有：re-ranking, rank-fusion...

2.4 数据集以及衡量指标

数据集如图

衡量指标主要有CMC, mAP等，本文提出了另外一个指标mINP

3 Open-world Re-ID

3.1 复杂的Re-ID

这一部分主要讲述一些复杂情况下的reid，主要包括：

在深度图和普通的RGB图下进行reid
根据文字信息进行reid，比如给出一些行人的描述性文字，再进行reid
基于红外线的reid
跨分辨率下的reid

3.2 端到端的Re-ID

端到端的意思就是，根据原始的视频信息去进行reid，直接返回目标ID在视频中的位置，这也更加贴近reid真实的应用。

3.3 半监督和无监督Re-ID

主要是如何进行聚类。

3.4 对噪声更加鲁棒的Re-ID

噪声主要是以下几个方面：

物理的遮挡
数据集采样的噪声，比如：没有框住行人、只框住了行人的一部分等
数据集标注的噪声，比如这个人原本是A，但是标注成了B

由于现在reid的数据集越来越多，越来越大，很多数据集不可能进行手工标注，所以很容易产生以上问题。文章这里就参数了如何解决这些问题。

4 展望

本部分作者主要提出了一种新的衡量模型好坏的标准mINP，以及提出了一个新的baseline，可以用于单模态(single-modality)以及跨模态(cross-modality)下的reid。

另外，本部分还讨论了一些当下研究的热点问题，比如域自适应、部署等。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/135631