CVPR 2021 Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors for Place Recognition

视觉场景识别对机器人和自主系统来说是一项具有挑战性的任务，它必须在一个不断变化的世界中解决因外观、照明以及视点变化所产生的问题。

本论文提出了一种新的条件和视点不变的视觉场景识别系统（Patch-NetVLAD）（如下图所示），它从每幅图像的特征空间的一组小块中提取局部-全局特征，通过局部-全局特征的穷举匹配获得空间得分，以获得两幅图像之间的相似度，从而测量这些图像之间的空间和外观一致性。局部-全局特征是在特征空间中使用一种vpr优化的聚合技术(论文采用NetVLAD)对密集采样的局部小块提取得到，产生一对图像之间的相似性得分，测量这些图像之间的空间和外观一致性。

首先采用原始NetVLAD特征，检索给定查询图像的top-k(在实验中使用k=100）最有可能匹配的匹配项。然后使用NetVLAD中VLAD层的替代方法计算出一种新的patch特征以用于局部匹配，以重新排序初始匹配列表，并改进最终的图像检索。这种组合方法在保证最终图像检索阶段的召回性能的基础上，最大限度地减少了交叉匹配patch特征所带来的额外的总体计算成本。通过引入一个完整的特征空间，推导出一个融合多个patch大小的多尺度方法，用来生成并组合这些不同大小的混合特征，以提高单一尺度方法的性能。与现有局部关键特征的固定空间邻域机制不同（NetVLAD仅将整个特征空间聚合为一个全局特征），该方法将特征空间网格上