深度学习——3D点云_3d点云深度学习

深度学习点云综述文章

Deep Learning for 3D Point Clouds: A Survey中文翻译 - lakaka - 博客园 (cnblogs.com)

一文尽览 | 首篇Transformer在3D点云中的应用综述（检测/跟踪/分割/降噪/补全） - 知乎 (zhihu.com)

物体三维表达方式

点云应用

点云处理任务

数据集

点云数据特征

• 无序性:只是点而已，排列顺序不影响
• 近密远疏的特性: 扫描与视角不同导致
• 非结构化数据：直接CNN有点难

点云深度学习模型

Point cloud is converted to other representations before it’s fed to a deep neural network

体素化方法 Volumetric-based Methods

体素化方法将点云转换为致密的三维体素模型， 并对其应用三维卷积，以模仿和复制卷积神经网络在平面图像分析上的成功．然而三维卷积的计算量过大，这限制了处理模型的分辨率，使得在数据转换过程中损失了大量的模型细节

[1]

ZHOU Y, TUZEL O. VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection[M]. arXiv, 2017.

多视角图像渲染 Multi-view based Methods

• 多视角图像渲染将三维数据渲染为多个视角下观察到的平面图像， 巧妙地解决了模型自遮挡的问题，但依然无法保证三维模型的全部细节不被遮挡，且计算量较大

• 

• [1]

SU H, MAJI S, KALOGERAKIS E, 等. Multi-view Convolutional Neural Networks for 3D Shape Recognition[M]. arXiv, 2015.

直接在点云上特征学习 Point-based Methods

Challenges

The model has to respect properties of point clouds:

• Unordered point set as input

Model needs to be invariant to N! permutations.

• Invariance under geometric transformations

Point cloud rotations should not alter classification results.

PointNet

PointNet++

点云数据可视化

CloudCompare

CloudCompare是一款3D点云处理软件(例如用激光扫描仪获得的点云)。它还可以处理三角形网格和校准图像。

MeshLab

MeshLab是三维立体网格处理软体，为自由软体，首先发布于2005年年底。此软体可显示及处理大量的非结构化网格，并提供编辑、清理、修复及查核等功能，可对模型进行渲染及转档。