严格匹配_2020.04——遥感影像匹配相关

1. 遥感光学图像立体目标空间配准及纹理映射方法研究

1.1引用方式

马丁. 遥感光学图像立体目标空间配准及纹理映射方法研究[D].

1.2主要思想

随着遥感技术发展及应用需求提高，相比于 2-D(2-Dimension)信息，地物3-D(3-Dimension)信息不管在民用还是军用领域都具有更重大的意义，在立体空间中对遥感目标进行更加完善三维描述。考虑到高分辨率遥感光学图像为目标三维信息获取提供了更精确完整的图像数据来源，因此基于光学图像的遥感光学立体成像技术成为当前研究热点。三维重建技术需要首先针对多角度、多时相下获得的不同特性遥感光学图像，进行立体目标空间配准方法研究。空间配准包括图像配准技术和立体配准技术。为了获得更具有真实感的遥感目标 3-D模型，需要通过表面纹理映射技术为模型增加纹理细节信息。本文主要以卫星和临近空间为平台，以建筑物、桥梁、舰船和油库为典型遥感目标，开展图像配准、立体配准及纹理映射三方面的应用研究。

首先，多角度遥感光学图像配准技术方面，主要对不同角度下获得遥感光学图像进行配准研究。针对原有配准方法在对多角度光学图像进行搜索对应关系时存在的计算量过大、错误匹配率过高的问题，在传统的互相关系数相似测度搜索约束准则上，提出一种新的基于坐标窗口约束搜索策略，分两步进行图像配准处理。考虑到配准精度主要受到控制点分布情况的影响，为了实现高精度图像配准，提出一种基于点均匀分布考量的控制点筛选算法。为了分析算法的性能，对多角度真实航拍图像和多角度半实物仿真图像进行配准实验，并分析特性。

其次，遥感目标重建数据立体配准方面。通过分析遥感重建数据特点，针对传统 ICP 迭代循环算法在处理仅有部分共有的三维数据间配准时存在的产生多余匹配点、不易收敛的问题，在对匹配无效性判断与去除方面进行算法改进。为了分析算法精度及收敛曲线性能，对模拟建筑物数据、仿真平台下部分建筑物重建数据及真实遥感多时相 DSM 数据进行配准实验。

最后，遥感重建目标表面纹理映射方面，为了提高遥感目标重建 3-D 模型完整度，需要为几何模型添加表面的纹理信息。针对四种典型遥感目标，提出一种基于光学图像的重建目标表面纹理映射算法流程，对其中纹理图像正射校正技术及坐标对应技术分别进行了研究。为了验证算法映射效果，对仿真平台下四种典型遥感目标及真实黑科技两类建筑物进行表面映射实验，并可视化评价生成的遥感目标3-D模型。

1.3主要内容

1

2

3 基于多角度光学图像的遥感目标立体重建包括三个步骤：立体像对匹配；定向参数计算；空间三维坐标求解[5。通过这三步骤，实现了对目标的三维空间坐标信息解算。其中立体匹配是目标立体像对中同名点对应过程，为后续解算提供所需匹配点对，因此立体匹配是三维重建的关键环节。

4 不过，大多数的配准方法都分为以下四个步骤[7]：(1)特征提取:将突出、鲜明的对象(闭合区域，边缘，线交叉点，角点等)作为特征，提取过程可以是手动也可以是自动检测。在后续的步骤中，这些特征（闭合区域重心，线段端点，奇异点）被称为控制点。(2) 特征匹配：建立输入图像和参考图像中特征之间的对应关系。为了建立这种对应关系，特征描述符和特征间的空间关系相似性度量被提出。(3)变换模型估计：对输入图像和参考图像之间的映射变换模型的类型和参数进行估计。(4)图像变换和重采样：对输入图像利用变换模型进行图像变换。对于其中的非整数坐标值进行插值运算。

5 和图像配准的概念类似，立体配准是将二维平面空间中扩展到三维立体空间中，实现三维空间中多时相、多角度下激光雷达扫描得到的或通过遥感立体成像重建得到的三维数据间的坐标严格同一化。

6 和图像配准方法分类相似，考虑到配准基元的不同，三维配准方法也可以分为基于全局的三维配准方法和基于三维特征的立体配准方法[8]。

7 基于全局的三维配准算法中，立体数据集间的配准是计算机视觉上常见的问题，迭代最近点(Iterative Closest Point, ICP)方法显示最佳迭代技术来处理这样一个立体配准问题。这种目前已被广泛接受标准的 ICP 方法是被独立地由 Besl 和 Mc Kay[12]提出的。

8 第一个改进方向是尽可能地加快迭代算法速度和提高配准结果精度，假设配准的数据集间是刚性变换。在这个方向，有提出了许多改进版本的 ICP 算法，如Rusinkiewicz 和 Levoy 提出的混合方法[14]，Hügli 和他的合作者提出的基于SIC-range 配准算法[15]，Krishman 和他的合作者提出的流形 配准方法[16]，Chetverikov 等提出的删减 ICP 算法[17]及 Fitzgibbon 提出的 Levenberg-Marquardt 优化 ICP 算法[18]等。

9 第二个改进方向是从数据源方面考虑，尽可能降低数据集的要求。例如，Feldmar 和他的合作者们研究了自由三维曲面间配准问题通过融合尺度成分的方法[19][20]。在对使用 ICP 的数据集概述方面，我们也参考 Pennec 和 Thirion[21]以及Sharp 等[22]的基于数据源点集的 ICP 算法研究。

10 基于局部三维几何特征的立体配准方法依据特征类型的不同也分为两种：基于曲面特征和基于三维骨架特征的三维配准方法。在利用曲面特征进行配准方面，Allen[23]采用的是建筑物上的窗户、门和墙壁等典型的房子三维线特征作为配准特征集，Wyngaerd 和 Van Gool[24]提取的特征则是曲面上的双切线交叉得到的三维点特征。在曲面点特征的基础上，一种计算曲面上某一个点的曲率的并以计算出的曲率值为特征的三维匹配对应方法被 S.Yamany[25]提出。在利用骨架图为配准的三维几何特征方面，Brennecke 和 Isenberg[26]利用对三维图像进行内部迭代画网格的方式得到三维曲线骨架特征，将其作为内部骨架图特征进行配准。Sundar[27]采用的同样也是三维曲线骨架作为配准的三维局部特征，但是他的骨架生成的办法是和 Brennecke 的骨架生成方式在利用的原理是不同的，运用的是对对象内部进行距离上的细化处理来架构出来的。

11 现存有很多种 3-D 模型纹理映射方法。通常来说，这些方法可以被分为三大类。首先，图像渲染技术已经被使用在纹理映射上当很少有辐射度差异时。通过图像渲染方法，试图消除相邻的纹理面片之间的接缝[28]。这项技术的代表作就是3DSOM系统中的纹理映射[29]，它是工作在一种专业可控的照明环境中。它应用了双波段融合技术同时去保持高频边缘信息和低频一般信息。然而 3DSOM 系统工作在一种严格控制的环境下。它不能用于有相对较大色差的真实世界图像。 其次，纹理面片配准优化技术被广泛使用来减少纹理碎片。基于配准方法的直接分配技术将导致存在明显的颜色不连续的分散纹理片段的产生。一种典型的算法改善就是引入马尔科夫随机场(Markov Random Field, MRF)[30][31]去优化纹理镶嵌，它同时考虑图像可见性和颜色连续性去优化纹理图像和三角形网格间对应关系。然而，当图像之间有大的辐射差异时（尤其适用于现实世界照片），MRF优化算法是不够有效去模糊不同纹理片段间的颜色不同。第三，有一些研究着眼于纹理映射中的不同图像间全局辐射(颜色/照明)上的修正[32][33]。这是一个典型的计算摄影问题。但到目前为止，大多数方法需要手动点区域调整。更重要的是，现实世界中的照片存在于不受控制的环境中，全局辐射校正不是有效的，因为纹理映射更关注于相邻纹理片段间的局部不连续问题。

12

13

14

1.4结论及改进方向

遥感立体目标空间配准是实现多时相、多角度下获取的不同特性光学图像间或重建得到的目标三维数据间坐标严格对齐的重要技术问题。是遥感目标光学立体成像的关键步骤，直接影响到后续的处理效果。遥感立体目标纹理映射技术为重建得到的目标3-D模型添加了真实纹理信息，提高了目标三维重建的完整度。本文针对涉及到的多角度光学图像配准、遥感重建数据立体配准及遥感重建目标表面纹理映射技术，考虑各自数据特点，重点关注建筑物、桥梁和舰船典型遥感目标，分别提出了技术方案并进行了实验验证。

现对研究工作总结如下：

(1) 针对多数图像配准算法处理多角度光学图像时存在的搜索匹配计算复杂、错误率高的问题，在传统的互相关系数约束对应关系上提出了新的以坐标窗口为约束的搜寻策略，采用分步的配准过程，提出了一种基于坐标窗口约束的配准方法。为了验证算法性能，评价配准精度，采用多角度航拍图像和多角度半实物仿真图像进行实验，结果表明该算法具有较高的配准精度，接近要求的1个像素。

(2) 针对传统迭代算法在处理配准输入三维数据点集间只有一部分是重合对应情况下存在的会产生多余匹配关系建立，迭代不易收敛的问题，结合两种对匹配关系建立无效性进行判断与去除的策略对传统 ICP算法进行改善。为了验证算法精度的收敛特性，采用三种遥感目标三维数据进行配准实验，结果表明该算法在精度及收敛性上都有很大提高，接近要求 1

个像素。

(3) 针对建筑物、舰船、桥梁和油库四种典型遥感目标，提出了一种基于光学图像的遥感重建目标表面纹理映射流程，对其中涉及的纹理图像校正技术及坐标对应技术进行了研究。为了验证算法映射效果，对仿真平台下四种典型目标及真实黑科技两类建筑物进行表面映射，对生成的 3-D 模型进行可视化评价，可以看出映射效果良好，达到要求。定量化评价纹理映射坐标偏差接近要求 1 个像素。

综上所述，本文完成了遥感光学图像立体目标空间配准及纹理映射方法的分析与研究，并对其中涉及的三个具体研究内容进行了分别详细的算法分析及实验论证。其它配准及映射的结果评价详细指标提出及算法的进一步改进有待于今后进一步研究。

2. 多级SPOT立体影像匹配

2.1引用方式

陶闯, 林宗坚. 多级SPOT立体影像匹配[J]. 环境遥感, 1992(2):139-146.

2.2主要思想

立体影像匹配是自动提取SPOT影像高程信息的关键技术｡本文根据SPOT影像在几何构像关系和影像质量上的特点,提出了多级匹配的结构策略｡实际像对匹配实验表明,多级匹配法具有较好的可靠性和精度水平,而且运算速度快,在快速生成DEM数据辅助遥感信息分析方面,有重要的应用价值｡

2.3主要内容

1 利用SPOT影像提取高程信息是sPOT应用的一项重要内容｡目前这方面的研究主要在两个方向同时进行,即解析法处理和数字法处理｡前者是在解析测图仪上进行人工立体量测,主要研究内容是为解析测图仪开发并配置专用的SPOT解析处理软件(西德Konechy1986;法国Denis1986;英国Dowman1987;中国李德仁,1988;常本义,1989`工,”)｡后者则利用数字影像匹配技术识别同名影像点,即而解析出地面三维坐标(法国Denis1986;英国Dowman,Gugan1987;瑞典Rosenholm,1987;台湾C.Chen,H.eLe,198813,’])｡SPOT原始影像是以数字形式记录的,因而数字法处理具有较好的数据基础〔1]｡

2

3

4

5

6

7

2.4结论及改进方向

3. 基于SURF的图像配准与拼接技术研究

3.1引用方式

卜珂.基于SURF的图像配准与拼接技术研究[D].大连理工大学.

3.2主要思想

Surf算法作为一种新近出现的特征提取方法,在重复度、独特性、鲁棒性个方而,均超越或接近以往提出的同类方法,并在计算效率仁具有明显的优势。本文将应用于图像配准首先使用舒算法检测并描述兴趣点然后将矩阵迹的正负性与最近邻比次近邻的方法相结合匹配兴趣点,并用算法剔除错误匹配进而通过直接线性变换算法求取透视变换矩阵的最小二乘解最后通过图像插值获得配准结果。在实现配准的基础上,又进一步研究了图像融合和柱面投影变换,最终用基于盯的图像配准技术实现了柱面全景图像的拼接。

3.3主要内容

1

2

3

4

5

6

7

8

9

10

3.4结论及改进方向

4. 融合互补仿射不变特征的倾斜立体影像高精度自动配准方法

4.1引用方式

姚国标,邓喀中,张力,etal.融合互补仿射不变特征的倾斜立体影像高精度自动配准方法[J].测绘学报,2013(06):83-90+97.

4.2主要思想

提出一种基于最大稳定极值区域(maximally stable extremal regions, MSER)与 Harris&Hessian Affine的互补仿射不变特征高精度自动配准算法。算法分3个阶段:① 融合 MSER与 Harris&Hessian Affine互补不变特征,采用最小生成树算法选取一定数量的最优互补特征集合,基于特征的仿射不变信息实现局部图像的仿射与方向归一化,特征匹配采用多层次自适应策略,首先基于SIFT描述符的欧氏距离比率测度获得初始匹配,继而估计影像间的基本矩阵与单应矩阵,然后在双重几何约束下利用归一化互相关(normalized cross correlation, NCC)测度进行扩展匹配,以 增 加 特 征匹配数量且最大限度地消除误匹配;② 通过最小二乘匹配(least square matching, LSM)使匹配结果达到子像素精度,以提高配准精度,最小二乘匹配的迭代参数初值由同名仿射不变特征间的协方差矩阵与主梯度方位获得;③ 基 于②的 匹配结果和投影变换模型,完成影像的高精度配准。针对地面近景倾斜立体影像和无人机倾斜立体影像的试验结果证明了算法的有效性。

4.3主要内容

1 文献[12]提出了基于U-Net 模型的云检测方法，实现了对输入图像的所有像素进行同时分类，与以往方法相比，该方法获得了更精确的云检测结果，但对碎云和薄云的检测能力较差。

2

3

4

4.4结论及改进方向

针对存在较大仿射(透视)畸变的倾斜立体影像,先通过融合MSER与Harris&Hessian Affine多种仿射不变特征,能够获得较多的特征匹配;继而基于仿射不变特征区域协方差矩阵与主方位信息易于获取LSM匹配初值,通过迭代达到对原始特征匹配误差的精确补偿。试验结果表明本文方法在正确匹配点数、匹配正确率、匹配点分布的均匀性以及配准精度方面具有优越性,因此本文为倾斜影像的高精度配准探索了一种可行的思路。但本文算法仅对平面场景和地形较平坦区域进行试验验证,把互补匹配点由单平面场景匹配传播到多平面场景中是本文下一步要研究的内容。