【视觉-单目三维重建-理论篇】单目视觉三维重建----论文调研1_单目三维重建如何确定尺度信息

几种方法调研结果

1 非合作航天器位姿在轨测量方法的研究

基于Rodrigues参数的目标相对状态确定算法(PR),并结合卡尔曼滤波,建立基于Rodrigues参数的扩展卡尔曼相对状态估计算法(PREKF)模型,对P4P的求解结果做进一步滤波处理,通过仿真实验对算法进行有效性分析,证明了PR算法与PREKF算法能够很好地解决Rodrigues参数的奇异问题,定位精度高,能够为在轨服务任务的执行提供精确的相对位姿信息基础。 最后,搭建了地面仿真演示实验平台,对文中提出的特征结构检测、P4P位姿解算、PREKF卡尔曼滤波等算法进行了仿真验证,证明了算法的可行性与准确性,完成了非合作航天器相对位姿测量结果的分析。

2 基于变分模型的单目视觉三维重建方法

该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。

3 基于光流—场景流的单目视觉三维重建研究

(1)基于光流-场景流的单目视觉三维重建算法。相机位姿及空间三维点的精度会对后续重建结果有重要影响。针对相机位姿和空间三维点坐标存在较大误差问题,本文运用了基于视差角特征参数化的改进光束法平差算法,建立视差角特征参数化模型,通过引入无深度特征类型点来避免由于近零视差导致的误差增大,从而实现了对相机位姿和空间三维点的优化。针对传统的三维重建方法,本研究另辟蹊径,从运动视觉分析的角度出发,对传统三维重建方法进行改进。在立体视觉与光流场之间建立一个恰当的结合点,对原始重构网格进行调整,将粗略、不准确的原始网格曲面经过非刚性变形,调整至精确曲面,实现了对环境准确地三维立体化建模。实验结果证明本算法具有较高的重建精度。(2)改进的由粗到精的点云配准方法。为了将不同坐标系下的场景转换到同一个坐标系下,本文采用改进的由粗到精的点云配准方法。首先,采用改进的基于单位四元数的绝对定向方法实现粗配准。通过对实验结果进行分析,验证了算法的有效性;然而粗配准只是提供了粗略的旋转平移关系,为了得到更加精确的配准结果,需要对点云进行精确配准。因此,本文采用了稀疏ICP算法,实现对场景的精确配准。实验结果表明,该方法能有效提高配准的精度。(3)基于点结构光的单目视觉重建中尺度因子确定方法。运用基于光流-场景流的单目视觉三维重建算法实现对环境的立体化建模。然而,在场景中未放置靶标的情况下,图像序列重建后的三维场景与真实的三维场景之间缺少一个真实尺度因子,没有达到欧氏三维重建的效果。针对于此,本文提出了基于点结构光的方法实现对尺度因子的确定。

3.1  基于光流反馈的单目视觉三维重建

3.2 单目图像序列光流三维重建技术研究综述

3.3 基于单目图像序列光流的三维重建关键技术研究

3.4 基于单目视觉的场景三维重建与飞行器位姿求解关键技术研究

4 基于平移和旋转的单目视觉三维重建

基于平移运动的单目显微镜下微小尺寸物体的三维重建问题,研究发现光源颜色、强度和光源的入射角度等会影响显微成像质量,其中光源的入射角度是决定性因素。通过选择合适的入射角度降低物体表面的反射光从而提高了成像质量,为后续的三维重建奠定了重要基础。

5 增强现实中动态纹理的识别与重建技术研究

一种自适应光流阈值算法和变分水平集结合的动态纹理识别新方法，实现了对动态纹理的快速、准确识别

非合作航天器位姿在轨测量方法的研究

作者曹彩秀

摘要

随着太空活动日益频繁,研究以清理轨道垃圾、维修故障卫星以及为服役航天器添加燃料等为目的的在轨服务技术越来越重要,这些任务的对象大多为非合作目标。在轨服务任务中很重要的环节是实施非合作目标位姿的测量,以满足超近距离交会阶段追踪航天器对目标航天器观测、对接与捕获的需要。非合作目标位姿的测量涉及两个主要过程,一是特征结构的识别,二是特征结构和摄像机位置关系的确定。传统的非合作目标位姿测量系统在特征结构识别过程中,大多通过下载图片到地面遥控端,采用人工选取参考点的方式获得目标特征点信息,在相对位姿解算过程中,大多利用双目视觉系统,需经过复杂的立体匹配和三维重建等步骤才能确定目标航天器和追踪航天器之间的位姿关系。这类测量系统在识别过程中涉及到人的手动参与,无法实现目标的自主识别,且在图片传播的过程中引入了大量的时延,导致系统很不稳定。除此之外,基于双目视觉的目标姿态重建过程算法复杂,计算量大,系统运行效率低。基于传统测量系统存在的缺点,本文针对非合作航天器上的两种典型部件(太阳能帆板三角架和圆形星箭对接环),从识别技术到测量算法,提出了一套完整的基于单目视觉的非合作目标相对位姿在轨测量方案。并设计了基于地面平台的仿真验证实验,验证了测量系统的有效性。本文主要研究的工作如下： 首先,针对太阳能帆板三角架特征结构,提出一种基于滑动窗口Hough变化的三角架检测算法(SWHC):利用三角形内切圆心到三遍距离相等这一特性,选取滑动窗口遍历图像,找到符合该特性的三条直线段及其围成三角形的中心,再判断三角形中心点和三边的位置关系,最终确定目标三角形,并通过在Matlab上的仿真实验,验证了SWHC算法的可行性；针对圆形星箭对接环部件,提出基于双Hough变化的椭圆检测算法：利用椭圆上任意一点的切线方向与其中心对称的另一点的切线方向相同这一特性,找出椭圆上切线方向相同的两点,并定位这两点之间的线段中点为椭圆的中心,并通过对CMOS摄像机所采集的图像的目标检测,验证了椭圆检测算法的有效性。 其次,针对相对位姿的解算问题,利用特征结构检测部分提取到的共面特征点信息,将基于单目视觉相对位姿的求解转化为经典P4P问题,并针对传统P4P求解算法存在的数值不稳定、存在几何奇异等问题,引入PST方法对P4P问题进行了求解,确定了摄像机坐标系和目标航天器本体坐标系之间的对应关系,PST算法在整个求解过程中不涉及非线性迭代,求解效率高。 然后,提出了基于Rodrigues参数的目标相对状态确定算法(PR),并结合卡尔曼滤波,建立基于Rodrigues参数的扩展卡尔曼相对状态估计算法(PREKF)模型,对P4P的求解结果做进一步滤波处理,通过仿真实验对算法进行有效性分析,证明了PR算法与PREKF算法能够很好地解决Rodrigues参数的奇异问题,定位精度高,能够为在轨服务任务的执行提供精确的相对位姿信息基础。 最后,搭建了地面仿真演示实验平台,对文中提出的特征结构检测、P4P位姿解算、PREKF卡尔曼滤波等算法进行了仿真验证,证明了算法的可行性与准确性,完成了非合作航天器相对位姿测量结果的分析。

 

 

基于变分模型的单目视觉三维重建方法

作者贾松敏 ， 王可 ， 李秀智 ， 徐涛

摘要

提出一种基于单目视觉的致密场景重建方法,以实现对环境快速,准确地三维立体化建模。该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。在统一计算设备架构(CUDA)下,利用图形处理器(GPU)进一步实现了深度估计算法的并行优化,显著提高了算法处理的实时性。真实场景下实验结果验证了所提算法的有效性与可行性。

 

 

基于变分模型的单目视觉三维重建方法

作者贾松敏 ， 王可 ， 李秀智 ， 徐涛

摘要

提出一种基于单目视觉的致密场景重建方法,以实现对环境快速,准确地三维立体化建模。该方法针对自由式手持单目相机,在并行跟踪与地图创建(PTAM)算法框架下准确地实现相机的自定位。在此基础上,选取关键帧处图像序列,构造变分模式下深度估计模型;运用离散空间采样法获取初始深度图,借助于原始对偶算法实现该深度模型的优化,并结合相机投影模型估计待求解场景的三维模型。在统一计算设备架构(CUDA)下,利用图形处理器(GPU)进一步实现了深度估计算法的并行优化,显著提高了算法处理的实时性。真实场景下实验结果验证了所提算法的有效性与可行性。

基于光流—场景流的单目视觉三维重建研究

作者秦宝岭

摘要

在计算机视觉领域,从二维图像中重建出物体的三维模型一直是学者们研究的热点,它综合了众多的学科知识,且在航空测绘、视觉导航、医学诊断、电子商务、虚拟现实等领域都有着非常广阔的应用前景。本文对基于多幅图像的三维重建的相关理论和算法进行了较深入全面地研究,并在此基础上提出了一种基于光流-场景流的单目视觉三维重建算法。针对场景配准问题,本文提出了改进的基于单位四元数的绝对定向算法实现粗配准,同时利用稀疏ICP算法实现场景的精确配准。针对重建结果与真实场景相差一个尺度因子问题,本文提出了基于点结构光的方法实现重建中尺度因子的求解,进而实现场景的欧氏重建。最后手持单目相机对室内场景进行图像采集和实验。主要贡献有:(1)基于光流-场景流的单目视觉三维重建算法。相机位姿及空间三维点的精度会对后续重建结果有重要影响。针对相机位姿和空间三维点坐标存在较大误差问题,本文运用了基于视差角特征参数化的改进光束法平差算法,建立视差角特征参数化模型,通过引入无深度特征类型点来避免由于近零视差导致的误差增大,从而实现了对相机位姿和空间三维点的优化。针对传统的三维重建方法,本研究另辟蹊径,从运动视觉分析的角度出发,对传统三维重建方法进行改进。在立体视觉与光流场之间建立一个恰当的结合点,对原始重构网格进行调整,将粗略、不准确的原始网格曲面经过非刚性变形,调整至精确曲面,实现了对环境准确地三维立体化建模。实验结果证明本算法具有较高的重建精度。(2)改进的由粗到精的点云配准方法。为了将不同坐标系下的场景转换到同一个坐标系下,本文采用改进的由粗到精的点云配准方法。首先,采用改进的基于单位四元数的绝对定向方法实现粗配准。通过对实验结果进行分析,验证了算法的有效性;然而粗配准只是提供了粗略的旋转平移关系,为了得到更加精确的配准结果,需要对点云进行精确配准。因此,本文采用了稀疏ICP算法,实现对场景的精确配准。实验结果表明,该方法能有效提高配准的精度。(3)基于点结构光的单目视觉重建中尺度因子确定方法。运用基于光流-场景流的单目视觉三维重建算法实现对环境的立体化建模。然而,在场景中未放置靶标的情况下,图像序列重建后的三维场景与真实的三维场景之间缺少一个真实尺度因子,没有达到欧氏三维重建的效果。针对于此,本文提出了基于点结构光的方法实现对尺度因子的确定。实验数据表明了该方法的可行性与有效性。实验结果表明,通过采用基于视差角特征参数化的改进光束法平差算法,能有效提高相机位姿估计和三维空间点精度。采用基于光流-场景流的调整策略,能够有效地将粗略的原始网格调整至精确的曲面,实现对环境的三维重建。利用改进的由粗到精的点云配准方法可以有效提高点云配准精度,实现对真实场景的拼接。提出的基于点结构光标定方法,可以确定重建场景与真实场景相差的尺度因子,实现对真实场景的欧氏重建。

 

基于光流反馈的单目视觉三维重建

作者李秀智 ， 杨爱林 ， 秦宝岭 ， 贾松敏 ， 邱欢

摘要

提出一种基于光流反馈的单目视觉三维(3D)重建方法,实现对场景快速、准确的3D立体化建模。由帧间光流场建立更为稳健的同名像点匹配关系,同时运用五点算法估计摄像机的...

 

单目图像序列光流三维重建技术研究综述

 

摘　要： 由单目图像序列光流重建物体或场景的三维运动与结构是计算机视觉、图像处理与模式识别等领域的重要研究内容,在机器人视觉、无人机导航、车辆辅助驾驶以及医学影像分析等方面具有重要的应用.本文首先从精度与鲁棒性等方面对单目图像序列光流计算及三维重建技术近年来取得的进展进行综述与分析.然后采用Middlebury测试图像序列对HS、LDOF、CLG-TV、SOF、AOFSCNN和Classic＋NL等典型光流算法以及Adiv、RMROF、Sekkati和DMDPOF等基于光流的间接与直接重建方法进行实验对比分析,指出各对比方法的优点与不足,归纳各类方法的性能特点与适用范围.最后对利用分数阶微分模型、非局部约束、立体视觉以及深度线索解决亮度突变、非刚性运动、运动遮挡与模糊情况下光流计算及重建模型的局限性与鲁棒性问题进行总结与展望.

 

 

基于单目图像序列光流的三维重建关键技术研究

张聪炫

摘要

单目图像序列光流不仅包含了物体或场景的运动参数，还携带了丰富的三维结构信息，因此由单目图像序列光流重建运动物体或场景的三维运动与结构是计算机视觉研究领域的一个热点问题，研究成果被广泛应用于机器人视觉、航空航天、军事、医学研究等领域。本论文主要针对基于单目图像序列光流的三维运动估计与结构重建理论与技术进行研究，以提高计算效率、改善重建算法鲁棒性、拓宽重建算法适用范围等为研究目标。从改进变分光流计算模型、降低邻域误差影响、改善亮度突变情况下像素点漂移现象、减少特征直线光流重建模型的约束条件、建立点线光流对应关系等方...

 

 

基于单目视觉的场景三维重建与飞行器位姿求解关键技术研究

 

本文主要围绕基于单目视觉的场景三维重建与飞行器位姿求解中所需要的关键技术展开研究,主要内容包括图像局部不变特征的快速检测、描述与匹配,相对位姿的快速鲁棒求解,以及摄像机的绝对位姿求解。在有关局部不变特征快速检测、描述与匹配的研究中,首先回顾了经典的局部不变特征,包括Harris角点、SUSAN角点、SIFT以及SURF特征点,特别对实时计算性能非常出众的二值化不变特征点ORB和BRISK进行了详细分析。在融合各种局部特征提取方法中的优秀思想后,本文提出了一种性能更优的不变特征产生方法:SBRISK。SBRISK分别在检测、描述以及匹配阶段深度改进了BRISK。在特征点检测阶段,采用相邻尺度空间中的级联AGAST加速特征点的检测;在特征点描述中则采用一种旋转对称的星座结构,利用精细设计的比特位移替代图像或者星座的旋转来实现特征描述的旋转不变性,降低了对特征描述以及存储的要求;在确定特征方向过程中,进行了简化计算,且简化过程并不降低特征匹配的精度;在特征匹配阶段,SBRISK将特征点集分为亮模式点集和暗模式点集,匹配只在同一模式点集内部进行;最后在粗匹配的基础上,提出一种匹配提纯策略,并用严格的实验给出了匹配以及提纯的阈值。实验结果表明,相比于BRISK,SBRISK的匹配精度更高,计算速度提高30%~40%。在本质矩阵的快速鲁棒求解方法研究中,首先回顾了经典的摄像几何模型,推导和分析了基础矩阵以及本质矩阵的数学形式、性质及典型的求解方法。提出一种基于野点(outlier,如非特殊说明,本文中的野点均指在图像局部不变特征匹配中得到的错误匹配点)消除的本质矩阵快速鲁棒求解方法,克服了大比例野点情况下的RANSAC鲁棒策略需要多次采样的弊端。此法在模型验证阶段,不再采用传统RANSAC中基于样本(匹配点对)进行模型预检验的方式,而是依赖于所求解本质矩阵特征值与标准本质矩阵特征值之间的差异来度量所求解本质矩阵的有效性,使得检验的过程完全不依赖于样本残差模型以及野点概率的估计,具有较好的独立性。当解得的本质矩阵具有的较小特征值偏差时,计算点集中所有点对在此本质矩阵变换模型下的残差,将残差较大的点对删除,以提高内点(inlier,如非特殊说明,本文中的内点均指在图像局部不变特征匹配中得到的正确匹配点)的比例,并加快后续的RANSAC采样过程。实验结果表明,当匹配点集中存在大比例的野点时,本文提出的基于野点消除的RANSAC方法(OE-RANSAC)可比传统的RANSAC方法计算速度快十倍以上。摄像机特殊的运动方式以及平面的场景结构会使传统的基于匹配点集(数据)求取本质矩阵(模型)的代数求解方法出现退化,针对这个问题,本文提出一种基于改进粒子群优化的本质矩阵求解方法。它首先构造一个符合本质矩阵约束条件的矩阵,然后计算此矩阵与点集之间的适应度值,通过粒子群优化算法寻找适应度值最高的本质矩阵。针对传统粒子群优化算法容易陷入局部最值点以及收敛速度慢的弊端,本文为原始的粒子群优化算法引入三点改进:交叉操作、随机加权全局最优值、随机搜索速度。通过这三点改进,可以加速粒子群的收敛,并避免过早地陷入局部极值点。虽然该方法还会受到场景结构、运动模式、粒子数以及迭代次数的影响,但计算结果在代数方法出现退化的场景条件下更为稳定。在场景三维结构已知条件下,通过单帧图像即可求取出摄像机在场景中的绝对位姿,这就是PNP问题求解,包括N(28)3、N(28)4、N(29)4的情形。传统PNP方法存在的主要问题有如下两点:一是算法复杂度与精度之间的矛盾;二是无法克服平面退化对结果的影响。基于旋转矩阵的流形表达,本文提出一种新颖的基于旋转平均的PNP求解方法。首先任选多组由三个控制点构成的三元控制点对,利用这些三元控制点对以及P3P方法求解出位姿参数,然后再对P3P方法求取的位姿直接进行平均。实验表明,与传统的PNP方法相比,基于旋转平均的PNP求解过程完全不受场景退化的影响,这主要是由于P3P方法充分利用了所有的约束条件,属于一种几何求解方法。另外在控制点像平面坐标定位噪声较大的情况下,性能也优于EPNP方法,在控制点数较少的位姿求解中具有最好的精度,计算快捷。

 

 

 

 

基于平移和旋转的单目视觉三维重建

 

 

摘要

计算机视觉是利用计算机实现对客观世界中三维场景的感知、识别和理解。计算机视觉系统通常可以分为摄像机标定、特征提取、立体匹配和三维重建等部分。三维重建是计算机视觉研究的最终目的之一,本文主要研究的是基于平移和旋转的单目视觉三维重建。 本文的主要工作和成果如下: (1)本文分析了若干个不同因素(包括摄像机内参数(u_0,v_0,f_x,f_y),特征点匹配误差,平移量的值和方向)对物体三维重建结果的影响,通过实验发现匹配误差、平移量的值和方向是影响重建结果的最主要因素。要获得理想的重建结果,必须减小特征点匹配误差、增加重建对象在X或Y方向的平移量,并据此提出了一种通过奇异值分解从平移运动对物体进行三维重建的方法。 (2)相比于双目体视显微镜,单目直筒显微镜具有光路简单、设备成本低等优点,具备更广泛的应用前景。本文研究了基于平移运动的单目显微镜下微小尺寸物体的三维重建问题,研究发现光源颜色、强度和光源的入射角度等会影响显微成像质量,其中光源的入射角度是决定性因素。通过选择合适的入射角度降低物体表面的反射光从而提高了成像质量,为后续的三维重建奠定了重要基础。 (3)本文还研发了一种精度较高的旋转轴的标定方法。它利用平面标定的结果得到空间一组绕旋转轴的点集,经过进一步计算得到旋转轴在摄相机坐标系的位置。相比于传统方法,本方法具有更高的精度。并根据旋转轴的位置和已知的旋转角度,实现了物体360度的全方位三维重建。本文还研究了基于DAISY描述符的轮廓匹配以获取相对更加密集的重建点云,从而优化了三维重建结果。

 

 

Monocular Camera Three Dimensional Reconstruction Based on Variation Model

摘要

A monocular vision based three dimensional(3D)dense scene reconstruction technique is presented to achieve fast and accurate 3D stereoscopic modeling in the real environment.This proposed approach localizes accurately a free moving camera in the framework of parallel tracking and mapping(PTAM)algorithm.Based on this self-localization,a variational depth map estimation model is established by using a bundle of image around the keyframe.Discrete depth space sampling strategy is proposed to initialize the variational depth map model and primal dual algorithm is presented to optimize the model afterward.Subsequently,the final 3D scene model can be estimated by integrating the projective camera imaging model.Under the compute unified device architecture(CUDA),the algorithm is optimized in parallel mode by using the graphic processing unit(GPU)hardware,and its real-time performance is significantly improved.The experimental results conducted in realistic scenario demonstrats the feasibility and effectiveness of the proposed algorithm.

 

 

 

增强现实中动态纹理的识别与重建技术研究

作者

周文玲

摘要

近年来，增强现实中自然场景的重建已经成为计算机视觉领域中的一个研究热点。它的研究在虚拟现实、自然灾害预警、游戏动画、军事仿真等领域有着广泛的应用前景和重要的应用价值。　　 但增强现实中动态纹理的重建研究尚不成熟，其涉及的关键技术有待进一步研究和探索。本文主要研究增强现实环境中动态纹理的识别与重建的关键技术：研究一种鲁棒的动态纹理识别方法，本文首先对现有的动态纹理识别方法进行了研究，然后提出一种自适应光流阈值算法和变分水平集结合的动态纹理识别新方法，实现了对动态纹理的快速、准确识别；摄像机标定是从二维序列图像恢...

 

 

 

5 基于包含多个刚体运动目标的单目视频三维重建研究

作者李沛燃 ， 黄文杰 ， 陶晓斌

摘要

基于单目视频的动态场景重建一直是一个非常艰巨的任务。目前大多数的研究主要集中在基于单目视频的静态场景重建,而对动态视频重建的关注比较少。此外,未知数量的运动目标和稠密重建增加了动态场景重建的难度。论文将提出一个完整的重建系统用于恢复包含多个刚体运动目标的单目视频中的动态场景结构。主要通过大尺度光流法获得特征点轨迹,并在此基础上对独立目标进行姿态估计,并提出了基于超像素的精确目标分割算法,目的是获得每一个实体的稠密重建。

6 基于单目三维重构的空间非合作目标相对测量

作者李永飞 ， 王仕成 ， 杨东方 ， 孙大为

摘要

摘　要: 为了解决非合作目标的相对测量问题,提出了一种基于单目图像序列目标重构结果的非合作目标相对位姿测量方法。该方法将目标的三维重构与相机的位姿信息计算相结...

7 基于线激光—单目视觉系统可视空间的未知物体三维重建方法研究

作者周小龙

摘要

随着先进测量设备和新型测量技术的发展，逆向工程技术在航空、航天、造船、汽车和模具等领域中的应用受到越来越多的重视和研究。而在逆向工程技术中，针对未知三维物体的自动测量和重建技术是研究的难点和热点，因此本文提出一种基于单目视觉系统可视空间的视觉规划新方法，使视觉系统能够根据物体表面部分已知信息，正确、高效地完成对未知三维物体的自动测量和重建。 首先，通过实验获取所用线激光—单目视觉系统的可视空间，并在此基础上构建出系统的极限可视空间模型； 其次，提出视觉系统可视空间和极限面相结合的视点规划策略。以极限面来预测未知模型的最大表面延拓信息，并通过确定下一视点可视性判据来获取下一视点可视的位置参数信息（旋转角度和平移量），从而确定能获取下一视点最大可视区域投影面积的参考位置，最终将能获取最大可视投影面积的位置定义为传感器在空间的下一最优视点位置； 再次，为了保证规划过程的自终止性，提出两步规划自终止策略，即角度判据和表面数据完备判据，利用角度判据来终止对物体表面的初步重建，并利用点间距来判断已获物体表面是否存在遮挡信息，同时利用相邻点心距的差值作为确定遮挡规划方案的依据，从而获取遮挡部分信息，完成对未知三维物体的自动重建； 最后，通过对CAD测试模型和多个实体模型的自动重构，验证本文方法的可行性和有效性。