【点云压缩】点云概述：点云的分类与处理 点云来源

一、什么是点云

点云（point cloud）是空间中点的数据集，可以表示三维形状或对象，通常由三维扫描仪获取。点云中每个点的位置都由一组笛卡尔坐标$(X,Y,Z)$描述，有些可能含有色彩信息$(R,G,B)$或物体反射面强度（Intensity）信息。强度信息的获取是激光扫描仪接受设备采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。

维基百科点云介绍：https://m.tw.llhlf.com/baike-%E9%BB%9E%E9%9B%B2

二、点云从哪来

根据点云的不同应用需求，其来源呈现多样化的特征，这里介绍常见的几种：

1. 三维激光雷达扫描

三维激光雷达扫描使用的是LiDAR(Light Detection and Ranging)，它是激光探测及测距系统的简称，还可以称为Laser Radar或者LADAR(Laser Detection and Ranging)，激光雷达点云数据就是由激光雷达扫描获取的。如下图，当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因为就形成激光点云。根据这种方法得到的点云，一般具有x,y,z坐标值和激光反射强度（Intensity）4种信息。

一文了解激光雷达(Lidar)工作原理，及雷达（Radar）、点云数据相关技术与应用领域：
https://zhuanlan.zhihu.com/p/449269751

2. 照相机扫描

这种方法通过摄影测量原理获得点云，一般具有x, y, z坐标值以及r, g, b的颜色信息。那么，如果某个应用场景既需要使用反射强度信息还需要颜色信息怎么办？很简单，把激光扫描和照相机扫描结合在一起就可以了。

3. 逆向工程

顾名思义，就是先有了一个三维模型，然后在该模型的表面进行采点。得到相应的点云，可以分为稠密点云和稀疏点云。

三、点云的分类

通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。

如果按照点云的获取途径进行分类，可以分为静态点云、动态点云、动态获取点云三类。

• 静态点云：即物体是静止的，获取点云的设备也是静止的；
  

• 动态点云：物体是运动的，但获取点云的设备是静止的；
  

• 动态获取点云：获取点云的设备是运动的。
  

四、点云的相关处理

1. 点云分割

点云分割是根据空间、几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征，点云的有效分割往往是许多应用的前提，例如逆向工程，CAD领域对零件的不同扫描表面进行分割，然后才能更好地进行空洞修复曲面重建、特征描述和提取，进而进行基于3D内容的检索，组合重用等。

例如下图就是将一幅图片分割成n块，结合点云分类和对象识别，我们可以标记出地面、墙、建筑、车辆等内容：

经典的点云分割算法主要有：1）随机采样一致方法（RANSAC）；2）欧式聚类分割方法；3）条件欧式聚类分割；4）基于区域生长得分割；5）基于颜色的区域生长分割；6）最小图割的分割；7）基于法线微分的分割；8）基于超体素的分割。

2. 点云补全

点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云，如下图：

点云补全(点云完成)综述（Point Clouds Completion）：
https://blog.csdn.net/weixin_42155685/article/details/126459045

3. 点云上采样

点云上采样与点云补全不同，前者是提高点云在局部patch中的均匀性，而后者根据点云的部分输入生成完整的目标。

点云上采样的方法主要有三种：

• 基于优化的方法：这些方法都不是以数据驱动的，它们严重依赖于先验知识，如光滑曲面的消耗、法向估计等；
• 基于深度学习的方法：一般使用现有的点云特征提取网络（pointnet，pointnet++。DGCNN）等提取特征，然后进行上采样；
• 生成对抗网络GAN：GAN可以对点云进行形状补全、三维目标生成等，同样地，也可以使用GAN进行点云上采样预测的工作。

点云上采样网络 PU-GAN: a Point Cloud Upsampling Adversarial Network ICCV 2019：
https://liruihui.github.io/publication/PU-GAN/

4. 点云压缩

由于点云是海量点的几何，存储点云不仅会消耗大量的内存，而且不利于传输，也没有那么大的带宽可以支持将点云不经过压缩直接在网络层进行传输，因此需要对点云进行压缩。

截止至目前，可对点云进行压缩的点云编码框架国际上主要是G-PCC和V-PCC，这两个都是有MPEG提供的。G-PCC的全称是Geometry Point Cloud Compression（基于几何的点云压缩）；V-PCC全称是Vedio Point Cloud Compression（基于视频的点云压缩）。

从技术层面来说，G-PCC编码的主体思想是按照其几何信息进行的，利用八叉树进行几何信息的编码，再在几何信息编码的基础上利用插值计算残差对其属性进行编码。V-PCC编码的主体思想是将三维点云转换成图像，然后再利用图像或视频编码技术进行点云编码。

从压缩对象来说，G-PCC编解码框架主要是用于上述第一类静态点云和第三类动态获取点云的压缩。V-PCC编解码框架主要是用于上述第二类动态点云的压缩。G-PCC编解码框架也称为点云编解码器TMC13，V-PCC编解码框架也称为点云编解码器TMC2。

国内对点云进行压缩的点云编码框架是音视频编码标准（Audio Vedio Standard， AVS）提供的AVS-PCC编解码框架。

5. 点云配准

点云配准分为粗配准（Coarse Registration）和精配准（Fine Registration）两个阶段。

精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是ICP以及ICP的各种变种（稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP）。

粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。

6. 点云目标检测

这个比较容易理解，就是使用点云数据进行目标检测，如下图：

目前常见的3D点云目标检测算法有：

• End-to-End Multi-View Fusion for 3D Object Detection in Lidar Point Clouds（Waymo和Google联合提出）
• LaserNet: An Efficient Probabilistic 3D Object Detector for Autonomous Driving（Uber提出, CVPR2019）
• BirdNet: a 3D Object Detection Framework from LiDAR information
• LMNet: Real-time Multiclass Object Detection on CPU using 3D LiDAR（英特尔提出）
• PIXOR: Real-time 3D Object Detection from Point Clouds（Uber和多伦多大学提出）
• PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud（香港大学提出，CVPR2019）
• YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud
• FVNet: 3D Front-View Proposal Generation for Real-Time Object Detection from Point Clouds（上海交大&腾讯优图）

3D点云目标检测算法汇总：
https://zhuanlan.zhihu.com/p/107061957