CVPR2020：点云三维目标跟踪的点对盒网络（P2B）_p2b: point-to-box network for 3d object tracking i

CVPR2020：点云三维目标跟踪的点对盒网络（P2B）

P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds

代码：https://github.com/HaozheQi/P2B

论文地址：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Qi_P2B_Point-to Box_Network_for_3D_Object_Tracking_in_Point_Clouds_CVPR_2020_paper.pdf

摘要

针对点云中的三维目标跟踪问题，提出了一种新的点对盒网络P2B。主要思想是首先在嵌入目标信息的三维搜索区域中定位潜在的目标中心。然后进行点驱动三维验证。这样，可以避免耗时的3D穷尽搜索。具体地说，首先从模板和搜索区域的点云中提取种子。然后，通过置换不变特征增强，将模板中的目标线索嵌入到搜索区域种子中，并用目标特征表示。因此，扩大搜索区域种子通过Hough投票来回归潜在的目标中心。中心进一步加强种子的目标性得分。最后，每个中心将其邻域聚为一组，利用集合能力进行联合3D目标的提出和验证。以PointNet++为主干，在KITTI跟踪数据集上的实验证明了P2B的优越性（比最先进的技术提高了10%）。请注意，P2B可以在单个NVIDIA
1080Ti GPU上以40FPS的速度运行。

1.介绍

点云中的三维目标跟踪对于自主驾驶和机器人视觉应用至关重要[25,26,7]。然而，点云的稀疏性和无序性给这项任务带来了很大的挑战，导致了现有的二维目标跟踪方法（如Siamese网[3]）无法直接应用。现有的大多数3D目标跟踪方法[1,4,24,16,15]继承了2D的经验，严重依赖于RGB-D信息。但当RGB视觉信息因光照变化而退化甚至无法访问时，可能会失效。因此，将重点放在仅使用点云的三维目标跟踪上。关于这一主题的首创性成果见[11]。主要使用Kalman滤波[12]来执行3D模板匹配，以生成一组3D目标建议。同时，利用形状补全对点集上的特征学习进行正则化。然而，该算法存在四个主要缺陷：1）跟踪网络不能进行端到端的训练；2）采用卡尔曼滤波的三维搜索耗费大量时间；3）每个目标方案仅用一维全局特征表示，可能会丢失有限的局部几何信息；4） 形状完备网络具有较强的类先验性，削弱了通用性。

针对以上问题，提出了一种新的点对盒网络P2B，可以进行端到端的三维目标跟踪。与[11]中使用box的直观三维搜索不同，转而通过首先定位潜在目标中心，然后联合执行点驱动目标建议和验证来解决三维目标跟踪问题。直觉依赖于两点。首先，点态跟踪模式可以帮助更好地利用三维局部几何信息来描述点云中的目标。其次，采用端到端的方式制定三维目标跟踪任务，具有较强的跟踪目标三维外观变化的能力。<