激光雷达与摄影测量相结合如何提高点云质量？

是否可以通过将激光雷达与摄影测量技术相结合来提高点云的准确性和密度？激光雷达数据可以穿透树木并测量阴影区域以生成非常准确的点云。被动成像相机衍生出更详细的 3D 模型并使用多光谱信息对点云进行编码，从而产生有用的彩色点云分类。

如果可以合并这些技术会怎样？中性密度滤镜对点云颜色有什么影响？本文更详细地探讨了定量和定性点云增强。

无人机（UAV 或“无人机”）在许多环境应用中变得越来越流行，提供点云数字表面模型 (DSM) 和正射影像。无人机飞行生成的数据集的准确性取决于数据捕获方法，有源激光雷达传感器或无源遥感传感器（相机）。点云数据集通常包含大量不良的不规则性，例如局部点密度的强烈可变性、缺失数据、重叠点和噪声。黎巴嫩大学文学与人文科学学院地理空间实验室最近的这项研究应用了各种方法来增强点云质量，还进行了现场实验以减少点云的不规则性。

新的点云质量提升方法

高分辨率和高密度点云在变形监测研究和室内外测绘等许多应用中发挥着重要作用。几项研究比较了激光雷达和运动 (SfM) 摄影测量技术的结构，发现激光雷达数据集更准确，因为 SfM 派生的结果是可变的。SfM 摄影测量的一个优点是使用多光谱信息对点云进行编码，这是一种有用的彩色点云分类。但是，激光雷达数据可以穿透树木并测量阴影区域以生成非常准确的点云。激光雷达扫描仪可提供相对准确的 3D 点云，而被动成像相机则可生成更详细的真实世界 3D 模型。

地理空间技术用户经常会问，选择什么来扫描市区：激光雷达还是摄影测量？但是，当同时使用这两种技术时会发生什么？风景和街头摄影师使用中性密度 (ND) 滤镜来增强他们的图像，那么为什么不将这种方法应用于摄影测量呢？

黎巴嫩大学文学与人文科学学院的地理空间实验室开发了一个框架，以引入基于激光雷达和 SfM 融合以及中性密度滤波器在无源传感器上集成的新型点云质量改进方法。实施了两项改进：1) 提高激光雷达点云密度和 SfM 点云精度，以及 2) 增强点云颜色。通过测试点云融合和四种中性密度滤镜（ND-4、ND-8、ND-16 和 ND-32）对点云着色的影响，探索了定量和定性点云增强。

融合

来自许多学科的点云用户对融合激光雷达和摄影测量数据以定性增强点云表现出兴趣。SfM 和激光雷达数据的融合然后增加了数据集的可用性和好处。在这项研究中，研究人员利用激光雷达和 SfM 技术制作了一个点云，并利用迭代最近点 (ICP) 方法将激光雷达和摄影测量点云融合到一个映射框架中。

由于无人机图像会受到太阳光线的影响，摄影测量师建议在较低的太阳强度下执行任务。为了减少阳光量，专业摄影师使用 ND 滤镜。由于缺乏在摄影测量中使用 ND 滤镜的文献和项目，本研究是最早测试此类滤镜对无人机数据集增强效果的研究之一。

点云精度和密度增强

激光雷达和摄影测量的航空数据集的地理配准可以通过 GPS-RTK 或 GPS-PPK 在相同的坐标系中完成。迭代最近点 (ICP) 算法有助于减少源激光雷达点云与摄影测量最近点对之间的距离，从而提高精度。

ICP 方法的主要优点是直接使用测量数据，因为不需要插值或其他数据修改。它试图通过最小化对应点对的平均距离来找到两个点云之间的最佳变换。

遵循 ICP 算法，基于激光雷达和 SfM 的点云合并为一个融合点云文件（图 1）。

图 1：点云的定量和定性增强。

新融合点云的特点是激光雷达精度高，SfM点云密度高。在飞行高度为 150m 的市区，研究人员扫描了 845,669 个激光雷达点。在同一个空中平台上，一台摄像机拍摄了 343 帧。应用 SfM 技术生成的点云比单独的激光雷达大七倍，总共有 600 万个点（图 2）。

图 2 的视觉定性分析使用形状、形式和密度等标准，而定量方法使用点云密度。不同数据集的点云可视化在点密度、细节和噪声方面显示出明显的差异。由于摄影测量点云的噪声和各种不确定性，使用摄影测量和激光雷达点云检测建筑物边界具有局限性。此外，由于激光雷达技术是一种基于激光束的主动遥感技术，它可以检测电线、围栏等细长结构。

建筑物边界的线性结构的视觉分析在激光雷达中具有非常准确的几何形式。相比之下，在 SfM 中，建筑物和高大的树木受到阴影的影响并且没有点云区域。激光雷达和 SfM 之间的差异是由于建筑物和树木造成的阴影以及树木在没有叶子时被忽略（图 2）。ICP 算法通过填充激光雷达点云中的这些空白区域以在合并的点云中进行插值来解决这一问题。

在 SfM 中，由于地面采样距离 (GSD) 为 3 厘米，因此检测到了屋顶上的灌木、小乔木、堤防和太阳能电池板。合并的数据集还可以可视化这些城市结构。SfM 方法不能穿透植被覆盖。

图 2：城市区域的激光雷达、SfM 和合并点云的示例。

生成的融合点云通过从激光雷达数据集中获取准确性来提高 SfM 点云的质量，并通过增加 SfM 点云的密度来提高激光雷达点云的质量（Doumit，2020）。

点云颜色增强

中性密度滤光片因其不影响通过它们的光的颜色而得名。使用 ND 滤镜可以将光线减少一档、两档、三档或更多档，从而实现较慢的快门速度（Bryan 2004）。

表 1：中性密度滤光片规格（光密度、停止减少和透射率）。

表 1 表明滤光片的光密度和光阑减少随着滤光片数量的增加而增加，并且对透射率有很大的影响。为了测试 ND 滤光片，在同一区域进行了五次飞行：无滤光片、ND-4、ND-8、ND-16 和 ND-32。处理导致输出具有相同规格但具有不同颜色、辐射度和纹理的五个点云。无过滤点云作为过滤点云之间比较的基础。在视觉解释中（图 3），在使用 ND-4、ND-8 和 ND-16 生成的点云中检测到高纹理细节，而在没有过滤器和使用 ND-32 的点云中，细节不太清晰.

砖屋顶、树叶、栅栏和其他细节在 ND-8 和 ND-16 中突出显示，并在所有其他点云中被遮挡。颜色亮度和对比度的变化可以通过形状、大小等其他元素来识别目标。纹理是从粗糙到平滑的色调变化的排列和频率；平滑纹理具有均匀的色调变化，如没有过滤器和 ND-32 的点云，而粗糙的纹理具有突然的色调变化，如使用 ND-4、ND-8 和 ND-16 的结果（Doumit & Abou Chakra，2020） .

图 3：不使用和使用中性密度过滤器生成的点云颜色。

在视觉图像解释中，ND-8 和 ND-16 被选为颜色较好的点云。如果将图 3 中显示的结果从最详细到最不详细进行排序，则分类如下：ND-8、ND-16、ND-4 和 ND-32。只有在摄影测量任务期间发生高太阳强度时，才应使用滤光片 ND-32。

结论

研究人员测试了无人机生成的激光雷达和摄影测量点云，以评估点云质量的增强。ICP 用于将两个点云合并为一个映射框架，以提高摄影测量点云的准确性并为激光雷达点云增加更多的密度。

生产激光雷达、SfM 摄影测量和合并的点云允许在质量方面进行比较。结果表明，经过数据融合处理后，可以增强摄影测量点云的间隙和激光雷达点云的低密度。该研究还考虑了中性密度过滤器对点云颜色增强的影响。

综上所述，为了更好地绘制大尺度城市区域，最好使用激光雷达和摄影测量点云数据的融合，因为激光雷达可以穿透茂密的植被并准确地产生地面点，而基于图像的匹配点云可以给出密集的高纹理和高空间分辨率数据集。鉴于此，作者希望新软件能够很快用于将摄影测量生成的点云与激光雷达点云合并为一个最终的增强数据集。

原文来自网络，由LIDAR前沿小编翻译整理，编辑：GIS前沿

版权归原平台及作者所有，如有侵权联系删除

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~