多模态遥感影像匹配_多模态数据匹配

多模态遥感影像匹配方法

分类

基于区域的、基于特征的、基于深度学习的。

1. 基于区域的：只是利用图像的灰度信息构建相似度匹配度量，并没有提取图像的共同特征。常用的相似性度量有相关系数（CC）、互信息（MI）

CFOG：依赖地理坐标信息

2. 基于特征的

3. 基于深度学习的

D2-Net

概念

• 局部自相似

1. 利用的是图像内部的自相似性

2. 关于图像之间的相似性和图像内部的自相似性

图像之间的相似性：在两个不同的图像中，某些区域或像素之间的相似或匹配程度。e.g.在两张照片中寻找相同的人脸或物体；

图像内部的相似性：同一个图像中，某些区域或像素之间的相似或匹配程度。e.g.在一张照片中寻找相似的纹理、颜色或形状。可以通过SSD度量进行计算。简单来说就是你在一张图像中提取两个小区域，然后通过计算两个图像块之间的平方差的和，就可以得到一个数值，这个数值就是他们之间的差异，就可以反应局部范围内的自身的相似性，为什么加一个自呢，我认为一开始SSD是用于比较两个不同的图像的差异来反应图像之间的相似性的，但是我们这边是在一幅图像上。所以为什么去比较自相似呢，因为如果你直接拿两幅图像的同名点为中心的图像块进行相似性比较，有时候毫无相似性可言，但是你拿一幅图像的两个关联区域的SSD和另一幅图像两个关联区域的相似性作比较是不是就会具有相似性，划重点，两幅影像上内部布局的相似性（就是说咱多源影像啊，咱不共享颜色，但是咱可以共享内在的几何布局啊）

参考资料

LPSO: Multi-Source Image Matching Considering the Description of Local Phase Sharpness Orientation