图像配准（匹配）与变化检测_图像配准和图像匹配

简介

A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022

变化检测的基本框架

基于神经网络的变化检测特征抽取

变化检测的粒度

场景级的变化检测（SLCD）

然而，像素级或物体级的变化检测方法不适用于土地利用变化分析。造成这种情况的主要原因可能是，场景中的物体，如植被生长和个别建筑的拆除/建造，不会直接影响土地使用类别，即它们在场景中的变化不会改变土地利用类别，例如，从住宅区到工业区。因此，在场景尺度上改进变化检测方法至关重要。

• SLCD最简单的方法，即后分类方法，将场景变化检测任务视为一个独立的分类，忽略时间相关性信息，从而遭受误差累积。换句话说，它几乎没有考虑多时间图像的时间相关性。
• 一些研究人员已经开始考虑多时相图像场景之间的时间相关性，开发了深度典型相关分析（DCCA）正则化[149]和一种称为软DCCA[158]的改进方法。
• 然而，这些只专注于从两个输入中学习相关的特征，并且不能被优化以提高特征表示能力。学习的全连接层可用于对双时间场景之间的相似性进行建模，并提高特征表示的可靠性[159]。

目标级别的变化检测

基于对象的方法以对象而不是像素作为分析单元。对象是一组局部像素簇，其中所有像素都被分配了相同的分类标签。一种基于对象的方法有效地利用了图像中的同质信息，并消除了图像噪声、边界[168]和错位的影响。由于基于对象的方法可能带来的好处，它们在土地覆盖图绘制中很普遍。在各种出版物中，它们取得了比基于像素的方法更好的性能。

边界框候选方法。在该方法中，将变化对象作为对象检测（OD）的目标。通常的OD方法，如SSD[169]、Faster R-CNN[170]和YOLO1-5[171-175]，有可能用于变化检测。

该方法以遥感图像中的“变化区域”为检测目标，以“不变区域”为背景。OD方法应用于高分辨率遥感图像变化检测[176]。检测结果是一组正方形区域，然后混合具有特定变化类型的相交区域。特征提取网络可以是单分支网络或双分支网络。对于单分支网络，首先合并或减去多时相图像，然后将结果输入OD网络以确定变化[176]。双分支网络分别生成每个图像的基本特征和代表性特征，然后融合每个分支的特征[177]或建议区域[178]，以预测类别得分和差异置信度。此外，基于对象的实例分割，例如使用Mask R-CNN，可以用作检测变化的基础，从而产生初始化的对象实例[179]。事实上，获取对象的位置是确定更改对象的位置的第一步。

Deep Learning-Based Change Detection in Remote Sensing Images: A Review 2022

基于像素的变化检测与基于对象的变化检测

传统的CD方法可以根据分析单元分为两组：基于像素的CD（PBCD）和基于对象的CD（OBCD）。

• PBCD是一种传统的方法，通过比较像素来识别变化，因此，它无法克服各种日期或传感器之间的辐射变化和配准错误的限制。由于图像对象之间的可变性增加，PBCD方法通常适用于中低分辨率遥感图像，但在VHR图像中经常无法操作。
• OBCD解决了这些问题，并显著提高了CD的准确性。针对VHR图像CD，提出了基于OBCD的技术，将图像分割为不相交和同质的对象，然后对双时态对象进行比较和分析。

变化检测基本处理流程

无监督变化检测

基于人工智能的变化检测框架通常包括特征提取器或分类器，这需要有监督和无监督的训练。由于获得大量标记样本进行监督训练通常耗时耗力，因此已经做出了许多努力，以无监督或半监督的方式实现基于人工智能的变化检测。

图像配准

参考文献：

• 图像配准：从SIFT到深度学习
• 图像配准综述

基本概念

图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系。
这些图像可以是不同时间（多时间配准），不同传感器在不同地方拍摄（多模式配准）。这些图像之间的空间关系可以是刚性（rigid）（平移和旋转），仿射（affine）（例如剪切），单应性（homographies）或复杂的大变形模型（complex large deformations models）。

图像配准所属现代词，指的是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。
配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。其中特征点提取是关键。

几个容易混淆的概念：

• 配准，是寻找相似图像但是变形后的图像（需要做一些旋转之类的校正变换）。通常是将两幅尺寸相当的图像映射到同一个坐标系中，并通过变换映射使它们的特征对应。
• 匹配，是寻找与一幅图相似的图像（不对寻找到的图像做矫正）。通常是在大图像中寻找与小图像（模板）相似的区域。（图像匹配是通过对影像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性分析，寻求相同影像目标的方法。）
  武汉大学和上海交通大学近日联合发布了首篇图像匹配大领域综述：《Image Matching from Handcrafted to Deep Features: A Survey 2020》
• 融合，两幅图像配准后，就可以叠加，称为简单的图像融合。也可以是多幅图像连接成一幅大图。

图像配准分类

传统的基于特征的图像匹配

自21世纪初以来，图像配准主要使用基于特征的方法。这些方法有三个步骤：关键点检测和特征描述，特征匹配，图像变换。简单的说，我们选择两个图像中的感兴趣点，将参考图像（reference image）与感测图像（sensed image）中的等价感兴趣点进行关联，然后变换感测图像使两个图像对齐。

• 关键点检测和特征描述
  关键点就是感兴趣点，它表示图像中重要或独特的内容（边角，边缘等）。每个关键点由描述符表示，关键点基本特征的特征向量。描述符应该对图像变换（定位，缩放，亮度等）具有鲁棒性。

• 特征匹配
  一旦在一对图像中识别出关键点，我们就需要将两个图像中对应的关键点进行关联或“匹配”。其中一种方法是BFMatcher.knnMatch()。这个方法计算每对关键点之间的描述符的距离，并返回每个关键点的k个最佳匹配中的最小距离。

• 图像变换
  在匹配至少四对关键点之后，我们就可以将一个图像转换为另一个图像，称为图像变换^12（image warping）。空间中相同平面的两个图像通过单应性变换^13（Homographies）进行关联。Homographies是具有8个自由参数的几何变换，由3x3矩阵表示图像的整体变换（与局部变换相反）。因此，为了获得变换后的感测图像，需要计算Homographies矩阵。
  为了得到最佳的变换，我们需要使用RANSAC算法检测异常值并去除。它内置在OpenCV的findHomography方法中。

图像配准的相关资源

image-registration-resources（图像配准相关的书籍、论文、源码、工具、竞赛）

A Toolbox for Image Feature Matching and Evaluations（In this repository, we provide easy interfaces for several exisiting SotA methods to match image feature correspondences between image pairs. ）

voxelmorph: Learning-Based Image Registration （voxelmorph is a general purpose library for learning-based tools for alignment/registration, and more generally modelling with deformations.）

综述：A review of multimodal image matching: Methods and applications

参考资料

综合型参考资料

awesome-remote-sensing-change-detection（数据集、源码、竞赛）
Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges（综述论文的github链接，有截止2021年的大量相关论文、源码、数据集）

源码

• Python library with Neural Networks for Change Detection based on PyTorch
  该库在gitcode上的映射
  该库的blog：Github复现之遥感影像变化检测框架

• ChangeDetection

• Change Detection Repository
  In this repository, we provide python implementation of some traditional change detection methods, such as SFA, MAD, some deep learning-based change detection methods, such as SiamCRNN, DSFA, and FCN-based methods, or their original websites. Some multi-temporal datasets are also contained in this repository

综述

• 技术解析：基于深度学习的遥感影像变化检测

• 综述1：2018-多时相遥感影像变化检测方法综述（武大）
  ------武汉大学眭海刚教授等：多时相遥感影像变化检测方法综述

• 综述2：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges
  收录于：Remote Sens. 2020
  论文地址：Remote Sensing | Free Full-Text | Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges
  解读：
  变化检测综述：Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges_naath的博客-CSDN博客_变化检测发展历程
  Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges（综述论文的github链接，有截止2021年的大量相关论文、源码、数据集）

• 综述3：Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis
  收录于：IEEE Access，2020

• 综述4：A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022

• 综述5：A Survey on Deep Learning-Based Change Detection from High-Resolution Remote Sensing Images 2022