快速鲁棒的多模态遥感影像配准系统（可下载，支持大尺寸遥感影像），性能超越国际著名遥感商业软件ERDAS和ENVI_遥感影像 查找同名点 深度学习 配准

---

一、引言

近些年来，随着国产卫星的不断发射，导致各种多模态遥感影像数据集(如光学、红外、SAR、LiDAR等)呈现爆炸式的增长，对这些遥感影像广泛应用的前提是进行高精度的配准。然而，遥感影像通常是由不同的传感器从不同的角度捕捉，或者由同一传感器在不同的时间段捕捉，很难找到一种完全通用的方法来处理所有的配准情况。虽然目前著名的商业遥感处理软件如ENVI、ERDAS等集成了多模态遥感自动配准功能，这些软件虽能够对多源遥感影像进行配准处理，但采用的方法依旧是传统的影像匹配方法（如：归一化互相关和互信息），不能适用于多模态遥感影像的快速精确配准。因此，研发一种快速、高精度的多传感器遥感影像配准方法和系统有着较大的业务需求和应用前景。
多模态遥感影像自动配准的工程化应用面临着如下的挑战：
（1）大尺寸：在实际应用中，遥感影像的尺寸通常都很大，远远不仅几百像素，一景影像往往都是几万像素。如后续实验所用的超大尺寸的SAR和光学影像分别为29530×21621像素和30978×30978像素。
（2）辐射差异：影像间存在显著的非线性辐射差异，即同一地区程序出完全不同的灰度信息，即使人眼也很难识别同名点。
（3）几何失真：遥感影像通常覆盖不同的地形，包括山区和平原区域，并且在这些图像之间具有复杂的全局和局部几何失真。
（3）时相差异：遥感影像间通常都存在拍摄时间的差异，少则几个月，多则几年甚至几十年，导致地面发生一些变化。
上述这些挑战，使得异源影像间高精度的配准更加困难。考虑到CFOG算法（详情见Link）在异源影像配准上快速鲁棒的特点，能很好满足实时处理的需要，因此西南交通大学叶沅鑫老师团队基于CFOG算法，在采用C++和QT编程设计了针对多模态影像配准的系统（见图1），能够快速鲁棒的实现大尺寸异源遥感影像的配准，并且通过实验对比证明，该系统在配准精度和计算效率方向全面优于ENVI和ERDAS等遥感商业软件。

该系统对应的CSDN下载链接为Link（内包括可运行的系统及使用说明）：
并在百度网盘上提供了一对可供测试的多模态影像，百度云盘链接为：测试多模态影像链接。提取码为：ZBZB

图1-多模态配准系统界面

---

二、多模态配准系统的技术流程

虑到遥感影像的地理参考信息可以用于预测用于同名点检测的搜索区域，所设计的系统采用分块的策略进行图像匹配，主要包括以下四个步骤：特征点检测，同名点匹配，误差剔除和图像校正。

1、特征点检测

（1）特征点检测：分块的Harris算子被用于在参考影像上提取分布均匀的特征点。首先将影像划分为n×n个不重叠的格网，在每个格网中，我们计算每个像素的Harris值，并选择具有最大Harris值的k个像素点作为特征点。结果可以在参考图像中提取n×n×k个特征点，其中n和k的值由用户决定。

2、同名点匹配

（2）特征点匹配：一旦在参考图像中检测到一组特征点，就基于地理参考信息确定待配准图像中的搜索区域。随后，使用上一节博客介绍的CFOG算法和快速匹配的相似性度量（频率域空间加速匹配）来检测图像之间的同名点。

3、误差剔除

（3）误差剔除：在上述图像匹配中，由于诸如云和阴影之类的一些遮挡，误匹配（即，具有大误差的同名点）是不可避免的。通过以下迭代剔除误差大的点：①使用所有同名点建立几何映射模型;②用最小二乘法计算同名点的残差和均方根误差（RMSE），去除残差最大的同名点;③重复上述过程，直到RMSE小于给定阈值（如：2个像素）。在误差剔除过程中，映射模型（一、二、三次多项式模型）的选择取决于图像之间的几何失真，可以由用户自己选择。

4、图像校正

（4）图像校正：用步骤（3）中经过几何映射模型剔除后的同名点对待配准影像进行纠正。

三、实验结果

我们在实验中使用了一对超过20,000×20,000像素的多模态遥感影像来验证该配准系统的有效性，并与两种流行的商业软件系统（即ENVI 5.0和ERDAS 2013）进行比较。两个软件都具有用于自动遥感图像配准的功能模块：“Image Registration Workflow（ENVI）”和“Auto Sync（ERDAS）”。配准结果对比如下：


图2 配准前和ERDAS，ENVI-MI和本文系统的配准结果
第1行红色方框表示选取验证配准结果的区域
第2行为框1中的配准结果
第3行为框2中的配准结果

表1展示了三个系统的配准结果，ENVI-NCC失败是因为其配准准确性甚至比配准前更差，而ENVI-MI和ERDAS与配准前相比提高了一些配准精度，但不够理想。而我们的系统不仅实现了更高的配准精度，并且分别比ENVI-MI和ERDAS快20倍和15倍。图2显示了配准前和ERDAS，ENVI-MI和我们系统的配准效果，我们可以清楚地看到我们的系统表现最佳，其次是ENVI-MI和ERDAS。

四、总结

上述实验结果表明，该系统对于大尺寸的多模态图像的配准是有效的，并且在配准精度和计算效率方面全面优于目前国际上的主流商业软件ENVI和ERDAS，这表明所研发的系统具有工程应用的潜力。不过该系统目前只支持经过地理纠正的遥感影像，即影像具有地理坐标，并且两幅影像具有相同的投影参考，后续将提供基于有理多项式参数（RPC）的配准功能。

五、知识产权

该系统已经申请软件著作权和专利，在没有发明者同意的情况下，只能将该系统其用于科学研究，不能将其任何形式的项目或者商业化应用。