3D点云深度学习-浅谈点云分割_点云深度学习分割

先说一点题外话

研究生三年，开始学了一年的图像检测，还没学明白，然后实验室都开始做点云，就转到点云方向做了两年，没什么大成就，因为感觉我学了两年时间刚刚入门，而且大多数的学习都是跑跑现成的代码，有一些结果就算有输出了，还没有真正的自己改的大网络或者写一整套代码，但是长期下来对这个方向也算是有点熟悉了。现在毕业了，没机会再做这个方向了，就按照自己了解的接触路线为一些刚接触的同学们介绍一下吧，说的也不一定都对，但是有空我就来整理补充一下。

背景

1.点云是什么？
官方解释：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。
实际上：点云是一组三维点(x,y,z)的集合。
2.深度学习是什么？
不知道，就是各种卷，跟上班一样，卷就完了。
3.点云深度学习的难点在哪里？
其实在图像中深度学习已经取得了很好的效果了，商用的模型随处可见，而点云最大的难点就是怎么解决点云的无序性问题，就是同一个物体的那么多点排列顺序不同，所得到的效果应该是相同的，目前都在想怎么更好的解决这个问题，当然，点云里面还有遮挡，嘈杂点等等因素的困难。
4.为什么点云深度学习最近比较火？
一方面是深度学习目前的学习能力比较强，另一方面，3D传感器发展的很多，更加接近真实世界，而且近期出现了很多3D应用，可能再有就是电云可能相对容易发论文一些吧，哈哈哈～
5.点云深度学习领域包括哪些领域的学习？
图像卷积神经网络、数据处理、可视化、TF/Torch框架
6.点云的研究方向有哪些？
点云检测、点云分割、点云识别、点云补全、点云数据增强、点云数据集制作及Benchmark

点云数据集

深度学习任务一定少不了数据集，模型需要大量的训练样本，当然也可以用深度相机或者激光雷达实时采集处理，那是模型训练好以后的应用层面了吧，因为参与过一个数据集综述文章的编写，所以数据集接触的多一些，点云领域的数据集各式各样吧，应为大家的采集设备不同，采集策略不同，后期的一些处理和标记格式等都有所不同，对了，他们采集的场景规模，类型等也都不同，所以大家可以针对某一个场景类型去进行点云方向的研究，比如专门做点云物体的识别，室内场景的点云分割，室外场景的点云分割等，介绍一些常用的数据集吧。
1.Semantic3D
这个应该是最经典的室外场景的电云分割数据集，固定的一个激光雷达一直扫描周围场景得到的数据集，精度还是不错的，很多论文的效果比较都是基于这个数据集的，而且他提供官方网站提交你跑的结果。

工程地址：http://www.semantic3d.net/

2.S3DIS
S3DIS数据集是斯坦福大学开发的带有像素级语义标注的语义数据集。室内场景点云数据集，一般是3D相机或者iPad什么的进行采集。
工程地址：http://buildingparser.stanford.edu/dataset.html

3.SemanticKITTI
连续多帧点云数据集，好像就是kitti数据集后面又经过处理得到的，汽车采集。
工程地址：http://www.semantic-kitti.org/index.html

4.SensatUrban
室外大场景点云数据集，是真的大，无人机分区域采集组合得到的数据集。
项目地址：http://point-cloud-analysis.cs.ox.ac.uk/
数据集挑战赛网址：https://competitions.codalab.org/competitions/31519#results

5.Modelnet
竟然忘记了最经典的分类数据集-ModelNet，该系列延伸出很多数据集，包括ModelNet-10和ModelNet-40，都是最开始接触点云领域用到的数据集。
网站：http://modelnet.cs.princeton.edu/#
6.ShapeNet
也算是经典，很早的数据集～

点云深度学习模型

深度学习模型目前主要分为几个方向：基于原始点云、基于图像、基于图神经网络、基于3DCNN的方向去做，主要的区别就是将点云数据转化为不同的数据源去处理。介绍几个比较经典的网络模型。
1.PointNet/PointNet++
最最最最最经典的点云处理网络，感觉现在都被人家当成模块用了，不得不说，很好用。

2.RandLA-Net
牛津大学胡庆拥CVPR2020的一篇文章，也是我毕设跑的最多的代码，SensatUrban也是这个作者提出数据集，并且也举办了挑战赛

3.PointCNN
4.PointConv
5.

相关资料

点云PCL

结语

周末在公司闲下来随便整理一点，有时间再来补充，还有很多很多内容，先列个小框架～