3d点云检测学习笔记

想要学习一个网络模型，不管是图像还是点云的检测：

首先需要看看它是怎么做数据处理的？

然后了解它的特征提取模块是怎么搭建的？

接下来了解它的检测头选用的是什么？

模型搭建完毕后需要分析损失函数如何权衡？

最后当然是看看实验的仿真效果如何？
1
2
3
4
5
6
7
8
9

pointnet

参考文章: link
开创了点云直接提取特征的新框架
主要思路是：输入点云，通过一个对称函数（和点云顺序无关的）也就是池化提取特征，但是数据不进行升维池化后损失的特征太多，所以需要通过mlp对数据进行升维，然后进行池化提取特征。
具体操作是：输入点云n3，通过5层mlp，大小分别为64，64，64，128，1028，将数据升维到n1024，然后进行max_pool,提取出特征。

voxelnet

参考文章: link
主要思路：首先对空间划分格子（voxel），然后对非空的voxel随机采样T个点（多退少补0），然后进行VFE堆叠，VFE全程为 voxel feature encoding,即对每个voxel进行特征提取。提取的思路是首先也是升维，先求voxel内所有点的均值，然后每个点对应项减去均值，使得原来的4维数据转化为7维数据，在通过mlp升维，最后通过pointnet提取voxel内的特征。对非空的voxel处理完之后需要映射会原来的3d空间，提取稀疏特征。

pointpillar