（三）多模态图像匹配综述_多模态匹配

1、概念：

① 多模态图像匹配是指从两幅或多幅具有显著模态或非线性外观差异的图像中识别并对应相同或相似的结构/内容。

多模态图像匹配（MMIM）有时被称为多模态图像配准（MMIR），可以被视为图像匹配社区中的特定情况。一个更普遍的定义是，要匹配的目标具有显著的非线性外观差异，这些差异通常由不同（不限于）成像传感器或不同成像条件（如昼夜[3-5]，跨天气[6]，跨季节[7]）和输入数据类型（如图像-油漆-草图[8，9]和图像-文本[10-12]）引起。

②方法：

（1）基于区域的框架通常在相似性度量的指导下配准图像对，该相似性度量可以测量图像对准的准确性以驱动配准过程的优化。
（2）基于特征的框架在一般的图像匹配任务和相关应用中更具可操纵性。这些方法通常从区别性特征提取开始，然后匹配具有/不具有特征描述的特征，随后是变换模型估计和图像恢复和变形，从而实现图像配准。

③不足：

（1）第一个限制是不同模态的图像数据不足或不可用。
（2）基于区域的方法高度依赖于相似性度量、几何变换模型和优化方法的适当选择。然而，这些组件也很大程度上受到重叠区域和图像内容的影响[2]。
（3）基于特征的流水线的核心挑战是多模态图像对的特征检测和描述，由于它们的非线性强度差异。在这种情况下，许多广泛使用的特征匹配器提出的一般视觉应用程序将无法操作。

2、基于区域的方法

基于区域的流水线算法利用整幅图像的灰度信息实现图像配准。通常，给定预定义的变换模型，需要相似性度量以及优化方法来估计变换参数，然后通过优化总体代价函数来对齐两幅图像的公共区域。方法流程图：

补充：单模态图像：是指具有相同的成像模式或图像特性的图像。换句话说，这些图像是使用相同的成像技术（如X射线、MRI、CT扫描等）或相似的成像参数（如光照条件、相机设置等）获得的。单模态图像通常具有相似的外观特征和图像统计属性，因此它们之间的配准和分析相对较容易。
两种相似性度量方式：
多模态下的度量方式：

变换模型：（1）线性模型（2）非线性模型（3）物理模型

优化方法：
优化方法的选择可能会在很大程度上影响匹配的准确性和效率。根据优化方法试图推断的变量的性质，它们可以被简要分类为连续方法和离散方法。

3、基于特征点的检测器

（1）概念：

特征检测的核心思想是构建一个响应函数来区分点、线条和区域，以及平坦和不明显的图像区域。这个想法可以进一步分为基于梯度、基于强度、基于二阶导数、基于轮廓曲率、基于区域分割和基于学习的检测器。

（2）特征点分类：

1、角点

（1） 角点特征被定义为通常位于纹理区域或边缘的两条直线交叉点。代表性的角点特征提取响应包括基于梯度、基于强度和基于轮廓曲率的方法。
（2）基于梯度的特征响应是基于图像的一阶信息实现的，Harris检测器通过使用二阶矩阵来构建强度变化，并根据特征值的大小来区分角点特征。基于梯度的策略使得Harris特征在多模态图像匹配中广泛应用，因为梯度可以很好地描述在两个不同模态的图像中保留的结构信息。

这种特征提取方法基于图像的一阶信息，即图像中的灰度梯度，而不涉及图像的具体强度值或颜色信息。因此，它对图像的模态变化不敏感，可以在不同模态的图像中保持一致性。

（3）基于强度的角点检测器旨在通过将强度值与周围像素进行比较来简化梯度计算，FAST检测器采用了相同的概念，通过将中心与沿着圆形图案的像素进行比较，进一步改进以增强重复性和鲁棒性。使用灰度质心方法为每个特征分配一个主方向，使其具有方向不变性，并提出了著名的ORB特征。
（4）基于曲率的策略旨在通过沿着检测到的图像曲线状边缘或轮廓搜索最大曲率来提取角点。

2、斑点特征

（1）斑点特征通常被定义为局部封闭区域，在其中像素被认为是相似的，因此与周围邻域不同。通常有两种策略用于提取稳定的斑点特征：基于二阶偏导数（SPD）和基于分割的检测器。基于SPD的检测器通常基于拉普拉斯尺度空间和/或Hessian矩阵计算以实现尺度和仿射不变性。由此提取的特征，也称为斑点特征，可用（