基于深度学习特征匹配方法及推荐解析文章_gluestick特征匹配

1 特征点法：

1.1 特征点提取：

SuperPoint

首先生成虚拟的三维物体数据集进行特征点提取，训练时真值已知。第二步将训练的网络用于真实图像来提取真实场景中的特征点，用于标签
再将真实场景中的图像进行翻转剪裁等操作，来验证匹配性能。

语义SLAM | 深度学习用于特征提取 : SuperPoint（二） - 知乎 (zhihu.com)

语义SLAM | 深度学习用于特征提取 : SuperPoint（三） - 知乎 (zhihu.com)

SiLK

SiLK: Simple Learned Keypoints简单的深度学习特征点-Facebook - 知乎 (zhihu.com)SiLK -- Simple Learned Keypoints （Meta提出的关键点检测和描述符框架）-CSDN博客SiLK: Simple Learned Keypoints简单的深度学习特征点-Facebook - 知乎 (zhihu.com)

使用自监督方法，以端对端的方式学习关键点，而不是明确地将它们定义为角点。它直接预测能够匹配成功的描述符，但是有轻微的不同。SiLK采用概率方法，在双softmax、循环一致性设置下对匹配概率进行建模，并优化对数似然。关注的是单张图像。

补充：非极大值抑制Non-Maximum Suppression（NMS）一文搞定理论+多平台实现 - 知乎 (zhihu.com)

DISK

作者建立训练（特征提取）和推理（特征匹配）的一体化，充分利用CNN的表达能力，来选择高质量的关键点。

训练策略使用强化学习的策略梯度，通过几何真值来给每个匹配一个回报，回报的最大值也就是匹配的最佳值。

端到端，但是需要从0开始训练

https://blog.csdn.net/Dedication_/article/details/113571533

BALF

主要用作于处理模糊图像。它没有使用任何去模糊操作，直接从运动模糊图像中提取特征。

它是由一个基于MLP的编码器和基于MLP的检测模块所组成。每个MLPCoder块包含一个通道MLP块（将像素映射到高维表示）、一个多轴门控MLP块（学习跨特征表示的空间依赖性）和一个剩余的MLP注意块（也就是SENet）。在每个MLPCoder块之后，我们应用一个最大池化层来提取最显著的特征，并降低特征表示的空间维数。在Detection Module中，先重设图像维度，在用softmax分配权重，再映射到原始图像上，计算特征点。

我们将关键点表述为一个回归问题。以SIFT在清晰图像上提取的点为真值。

1.2 描述符增强：

FeatureBooster

描述符和几何信息（如2D位置）作为输入，并使用轻量级Transformer聚合它们以生成新的描述符。新的描述符可以是二进制或实值的。

【FeatureBooster】Boosting Feature Descriptors with a Lightweight Neural Network-CSDN博客

1.3 描述符增强+匹配

SuperGlue:

论文阅读《SuperGlue: Learning Feature Matching with Graph Neural Networks》_superglue论文-CSDN博客

模型大致分为两个部分：基于Attention GNN 的特征增强模块、最优匹配模块；其中基于注意力GNN的模块将特征点的位置信息与描述子信息编码后进行特征融合，再通过self attention与cross attention来交替增强（L轮），得到用于匹配的特征匹配向量，最优匹配层通过计算特征匹配向量的内积得到匹配度得分矩阵，然后通过Sinkhorm算法迭代得到最优特征分配矩阵；

LightGlue

SuperGlue作者新作！ | LightGlue：又快又准的特征匹配方法 - 知乎 (zhihu.com)

输入：特征点的描述子p和位置信息d，
输出：图像匹配对M（A×B是指笛卡尔积，笛卡尔积也就是集合中的有序集合对）用软分配矩阵P来表示元素之间的关联程度，也就是匹配程度P属于\[0,1]。
主要流程：LightGlue由一堆相同的层组成，这些层共同处理两个集合。每个层由自注意力和交叉注意力单元组成，用于更新每个点的表示。然后，一个分类器在每个层上决定是否停止推断，从而避免不必要的计算。最后，一个轻量级的头部从表示集合中计算出一个部分分配。

网络细节：
1、Transformer骨干：将图像A和B中的每一个特征用向量进行表示，向量由视觉描述符进行初始化，并随着后续的由自注意力和交叉注意力组成的层进行更新。
2、注意力之后加权的信息与原始信息进行串联，然后通过MLP层与原始特征串联。
3、自注意力机制的实现：

与SuperGlue比较：                                                                                                                       

位置编码：SuperGlue是用MLP进行绝对位置编码
预测头：SuperGlue用的是Sinkhorn算法
监督：只在最后一层进行监督训练

GlueStick

结合点特征和线特征，利用图神经实现匹配

GlueStick: Robust Image Matching by Sticking Points and Lines Together-CSDN博客

2 光流法：

Loftr

「论文阅读」LoFTR: Detector-Free Local Feature Matching with Transformers - 知乎 (zhihu.com)

4小时我竟然就搞懂了商汤最新研究Loftr:基于Transformer实现关键点特征匹配！论文解读+源码复现，一步搞定大厂前沿算法！_哔哩哔哩_bilibili

GMFlow

【论文简述】GMFlow: Learning Optical Flow via Global Matching（CVPR 2022）-CSDN博客