数字孪生核心技术揭秘（三）：倾斜摄影

一、什么是倾斜摄影？

倾斜摄影技术是测绘领域近年发展起来的一项高新技术，突破了传统正射影像只有垂直角度的局限，通过无人机搭载多台传感器，同时从一个垂直、四个倾斜等五个不同的角度采集影像，能够实现大规模区域的快速三维重建，并以真实影像作为模型贴图，是对真实世界进行快速三维重建的有效方式。

由于贴近真实世界的突出优点，倾斜摄影在业内通常被称为真三维模型；目前越来越多的数字孪生项目将倾斜摄影模型作为数字城市的空间基座。

同时，国家政策也在推动倾斜摄影行业快速发展，已经形成了一个千亿级的市场规模。2020年9月，国家自然资源部在“实景三维中国”计划中提出：“十四五期间，根据自然资源领域治理体系和治理能力现代化要求，完成全国地级以上城市三维模型的构建，形成满足自然资源精细化管理需求的服务能力”。

截止目前，已经有深圳、重庆两个城市完成了符合国家标准的全城规模的倾斜摄影模型采集，将数字孪生城市建设模式推进了新阶段。

1.1 倾斜摄影简介

倾斜摄影数据样例：重庆国际博览中心

1.2 倾斜摄影应用场景

倾斜摄影在数字孪生城市的应用场景很多，核心优势是快速建模与贴近真实影像：

• 智慧工地-监控进度：通过倾斜摄影快速建模，对比实际建造与设计方案的进展与差异等；
• 测绘应用-拆迁赔偿估算：城市旧城区拆迁过程中利用倾斜摄影进行拆迁面积的快速测算；
• 应急指挥-抗洪救灾：对防洪大坝等应急现场进行倾斜摄影快速建模，实现数字化应急指挥；

二、为什么要用倾斜摄影？

2.1 倾斜摄影的优势

倾斜摄影比二维影像提供全方位信息

• 与卫星影像等二维测绘数据相比，倾斜摄影不仅仅提供地物顶部的特征，同时也提供了地物侧面详细的几何及外观纹理信息；三维信息的密度远远高于二维，可以实现更多空间展示与分析能力；
• 在RTK/PPK高精度定位技术支持，局部精度可以达到厘米级；
• 倾斜摄影比手工建模更加逼真
• 不同于人工建模的艺术化创作，倾斜摄影生成三维模型的贴图，是由飞线载具采集的真实影像图片，模型是真实世界的还原。采集影像带有空间坐标信息，模型的几何外形、地理位置也是真实的，这个是人工建模无法比拟的优势；

倾斜摄影的采集速度高于人工建模

• 从资金成本比较，倾斜摄影的飞行载具采集倾斜影像、软件计算生成模型绝大部分工序都是自动化的，同面积的建模成本大概是人工建模的50%以下；
• 从时间成本比较，人工建模大概每人月可以完成0.2-0.3平方公里建模，完成1平方公里建模大概要3~5个人/月；倾斜摄影大概每平方公里费时三小时（按50平方公里1周产出计算），两种方式建模效率差异巨大；

与其他自动三维重建技术比较，倾斜摄影成熟度最高

• 自动三维重建技术一直是CG/CV交叉的热门研究方向，学术界、工业界一直期待有大规模实战技术的突破；与基于机器学习的视觉重建、激光雷达等技术路线相比，基于影像拍摄的倾斜摄影是最成熟的；这个成熟度不仅仅是三维模型重建这个环节，还包括采集的航空载具、影像采集设备、数据处理加工软件，以及数据展示分析软件，整个链路都比较成熟，这就带来了工业化应用的低成本；
• 目前，多旋翼、固定翼、有人直升机、动力伞、飞艇等各种飞行都可以挂载各种多拼相机采集倾斜影像，业内有十余种倾斜摄影模型加工软件，业内主流GIS平台如ArcGis、超图、CesiumJS等都支持倾斜摄影数据加载；

2.2 倾斜摄影的劣势

模型数据体积巨大，单项目10G以上很常见

• 由于倾斜摄影采集的是真实的影像照片，细节约多则纹理约大，造成模型的贴图非常巨大；
• 倾斜摄影自带LOD层级模型，空间越大、精细度越高，整体体积越大
• 数据处理加工耗时久，倾斜摄影三维模型的自动重建对计算机硬件有较高要求，同时需要很长的计算生成时间；
• 特定的场景重建效果较差：对于水面、镂空、大片同色区域三维重建效果较差，需要较大的人力修复投入；
• 很难进行模型的二次创作加工，无法精细艺术加工：与人工建模规范化的PBR建模过程不同，倾斜摄影提供仅仅类似base color贴图，同时完全基于真实世界的图片影像，无法进行二次艺术化加工创作；
• 通常倾斜摄影模型重建是用于单体化，即重建规整的几何体与属性信息，但对于提升模型的视觉美感和艺术感无能为力；
• 几何细节不如人工建模精细：倾斜摄影自动重建的三维几何体不如人工建模的几何体规整，尤其在小于采集精度的模型细节上无法与人工建模相比；

三、倾斜摄影是怎么生成的？

一个完整的倾斜摄影加工流程，需要的设备和工作包括：

• 航空载具：目前实际采集以无人机为主，可以是旋翼机或者复合翼；大疆系列无人机应用很多；
• 影像采集设备：多目倾斜摄影相机，常见的如5镜头相机；选择合适的拍摄软件如Altizure等；
• 影像采集：包括航线规划、飞线采集，以及相关的安全飞行保障；目前国家对无人机的使用是有相应法规管控的，不能随意飞行；
• 采集数据处理：航拍采集的影像，通过专用的处理软件，经过点云生成、tin网、构建白模、构建三维模型等步骤，生成最终的倾斜摄影模型；
• 较主流的软件包括了Smart3d、PIX4D MAPPER、PHOTOSCAN、Photomesh、街景工厂等；
• 目前主流的倾斜摄影格式是OSGB；根据密集点云逐级抽稀后构建的tin模型，自动创建LOD，实现不同层级之间的平滑过度；

• 

四、倾斜摄影的数据质量怎么评价？

4.1 数据质量评价指标

倾斜摄影的模型质量评估主要从位置精度、几何精度和纹理精度3个方面进行评价。

地理位置精度质量

• 在控制点周边比较平坦的区域，精度比对容易进行; 在房角、墙线、陡坎等几何特征变化大的地方，模型上的采点误差比较大，精度衡量可靠性降低，可以联合影像作业、矢量数据进行位置精确性比对；

几何精度质量

• 在影像采集的时候，重叠不够可能出现最终生成的倾斜摄影模型会有破面、漏面、悬空、拉花等情况，影响地物几何信息的完整表达。此类瑕疵越多，则几何精度越低；

纹理质量

• 倾斜摄影模型的纹理来自采集影像；由于原始影像质量不同，导致纹理可能存在色彩不一致、纹理不清晰等情况。要提高纹理精度就必须提高参加匹配的影像质量，剔除存在云雾遮挡覆盖、镜头反光、地物阴影、大面积相似纹理、分辨率变化异常等问题像片，提高匹配计算的准确度。

4.2 数据质量影响因素

倾斜摄影数据质量主要取决于以下条件：

• 建模对象物理特征：比如水面，玻璃幕墙等缺乏明显识别特征的物体，最后建模的精度往往较差；
• 与建模对象的拍摄距离：分辨率=航高/焦距*ccd尺寸，拍摄距离近的高分辨率的影像可以得到较高精度；
• 影像获取的拍摄方式：航飞路线、拍摄设备、天气状况都影响获取数据的质量；
• 输入照片的质量：原始影像质量不同，导致模型几何质量、纹理质量不同；

4.3 数据质量问题修复

常见可修复问题

• 水面漏洞、水面不平
• 建筑墙体扭曲
• 空中悬浮物

修复工具

• 3DMAX
• Geomagic Stuido
• MeshMixer
• DPModerler

4.4 数据时效性

测绘数据具有实效性，倾斜摄影数据也是具有实效性的；地物的变化需要重新采集才能反映到倾斜摄影模型的变化。不同的应用场景需要倾斜摄影数据需要保持一定的数据更新频率，如一年多次，甚至一月多次。

五、数字孪生应用：倾斜摄影的数据融合怎么做

很多“真三维”数字孪生项目往往只引入了倾斜摄影原始三维模型，只为了视觉效果贴近真实物理世界，只解决了“看”的问题；为了解决“用”的数据交互/融合问题，还需要对倾斜摄影原始模型进一步加工处理。

倾斜摄影自动化建模生成的是一个连续的三角网模型，在语义上不会把建筑、地面、树木等要素区分出来；

与人工建模、BIM模型相比，原始的倾斜摄影在模型的语义化分割方面很弱：

为了识别倾斜摄影模型中单个要素的语义、属性，以及实现对单个要素的交互如点击等，就必须对单个要素进行区分，技术上称为“倾斜摄影单体化”。

倾斜摄影“单体化”需要把单独管理的模型对象、构件作为一个个单独的、可以被选中的实体独立出来，并且可以附加属性数据，这些属性数据可以支持查询统计，以及作为联合查询的交互输入条件；倾斜摄影只有具备了“单体化”的能力，模型数据才可以支持数据融合的实际业务管理场景，而不仅仅是被用来展示三维模型视觉成果。

5.1 倾斜摄影单体化技术

“单体化”技术路线分为“静态单体化”和“动态单体化”两个方向，静态单体化又包含“矢量面切割”、“模型重建切割”两种方案；

单体化方案的比较

单体化方案的选择

对于单体化技术方案的优劣，不同的业务场景有不同的评价标准；

展示为主的项目场景

• “模型重建切割”方案，可以显著提升模型的视觉效果，因此受到展示为主项目的偏好；

业务实战项目

• 由于实战场景有大量的交互、数据检索查询，因此注重单体化的交互能力和数据属性扩充的灵活性，“动态单体化”更加实用；

数字孪生场景特别注重数据驱动与数据融合，因此“动态单体化”更有优势；模型的外观质量可以在倾斜摄影生成过程中提升。

5.2 单体化与数据融合

“动态单体化”在三维渲染过程中，动态地把对应矢量底面套合在模型表面，因此可以充分利用GIS系统对现有矢量数据的查询计算分析等能力，如查询周边地物，制作专题图等；

交互融合

• 使用者能够直观地与单体模型对象的位置、形态、色彩以及四周的情况进行交互，达到真实世界的感官体验；单体化的模型对象都具有独立的属性，点击、剖切、筛选等交互行为都可以识别单体模型对象属性；

检索融合

• 通过单体模型的交互能力如点击模型等，可以把单体矢量的属性数据作为其他业务系统的数据查询条件进行传递，实现空间-业务数据的融合联动。

六、基于DataV.CityPro的倾斜摄影应用

DataV.CityPro支持倾斜摄影的三维瓦片流式加载，支持动态单体化的矢量数据渲染与交互，整体工作流如下：

6.1 数据格式转换:OSGB-S3M

倾斜摄影是多源异构三维模型的一个重要来源，由于三维模型格式种类及其繁多，标准复杂，因此在大规模加载应用情况下，渲染引擎会采用一种统一的三维瓦片形式，借此来屏蔽渲染引擎对众多三维模型格式的匹配兼容成本。

当前主流的三维瓦片主要有三类：

• 3D Tiles：主要由老牌开源地理库cesium推动，具备整套开源工具链；
• S3M：国产GIS厂商超图推出的三维瓦片标准；
• I3S：国际GIS龙头厂商ESRI推出的三维瓦片标准，符合OGC规范；

DataV.CityPro当前支持国产三维瓦片标准S3M，OSGB格式的倾斜摄影模型可以通过超图iDesktop软件或者超图开源的OSGB-S3M转换包将倾斜摄影OSGB文件完成格式转换。

转换之后的S3M瓦片可以用静态文件服务的形式使用，scp文件的url即是引擎所需的加载地址。

6.2 加载倾斜摄影数据

在DataV.CityPro中选择添加“倾斜摄影”模块，默认自带重庆国际博览中心的样例倾斜摄影数据。

加载自定义倾斜摄影数据，可以通过更改数据形式为“自定义”，然后将S3M倾斜摄影的scp地址输入即可。

6.3 交互搭建

加载矢量数据

矢量数据样例数据，包含二维矢量面，以及属性字段，包括识别ID等等，用于数据融合与交互。矢量数据可以用超图等各类GIS工具生成。

通过开启“交互开关”，倾斜摄影模块就支持矢量面的交互，包括鼠标的单击、双击，以及回调ID抛出矢量数据的属性。矢量数据的渲染样式也可以自定义设置。

蓝图搭建交互

倾斜摄影模块导出蓝图节点，交互方式支持鼠标单击和双击模式。

矢量数据的传递，可以通过逻辑节点提取；矢量数据的几何体属性里的数据都会包括在“data”字段里抛出，可以作为其他业务数据的查询输入条件。

多尺度空间联通

倾斜摄影模块双击交互与DataV.CityPro特有的“蒙太奇平行空间”多场景支持结合，可以零代码快速搭建出“中观城市场景”与“微观BIM场景”的融合，形成CIM业务的多尺度空间联通。

在DataV.CityPro中新建BIM场景，加载所需的BIM资源，并将场景导出到蓝图。

将倾斜摄影模块双击节点与BIM场景节点切换连接，并加上场景返回的蓝图逻辑。

最终倾斜摄影模与BIM联合应用的效果如下：

七、总结

对真实世界的自动化三维重建一直是CG/CV行业前赴后继不断尝试解决的难题；目前业内的进展，对于微型场景如单个饮料瓶等物体，结合AI已经可以实现语义化切割的自动三维重建，媲美人工建模。但是对于室外大场景的自动三维重建，从算法到采集硬件等等，都还未能做到类似微型场景的理想水平。

目前，倾斜摄影虽然在模型语义化分割、模型精度等方面不太完美，但是在贴近真实世界、过程自动化、实施成本、整体技术链成熟度等方面，已经是市面上最理想的低成本大规模三维重建技术方案。

随着国家政策的鼓励和“全景中国”的推进，预计倾斜摄影将会成为数字孪生项目的主流三维模型来源之一。