End-to-end 3D Point Cloud Instance Segmentation without Detection

Abstract

3D实例分割在机器人和增强现实的环境感知中起着主导作用。最近为这项任务提出了许多基于深度学习的方法。这些方法要么依靠检测分支来提出目标，要么依靠分组步骤来组装相同的实例点。然而，基于检测的方法不能确保每个点的实例标签一致，而分组步骤需要参数调整并且计算量很大。在本文中，我们介绍了一种分配和抑制网络，称为AS-Net，以实现无需检测和单独的分组步骤的端到端实例分割。核心思想是将实例分割作为候选分配问题。首先，对一组候选实例进行采样。然后我们提出了一个分配模块用于候选分配和一个抑制模块来消除冗余候选。进一步寻求实例标签和实例候选之间的映射，以构建用于网络训练的实例分组损失。实验结果表明，我们的方法比以前的无检测方法更有效和高效。

1. Introduction

3D实例分割具有广泛的应用，从自主系统中的3D感知到增强现实和虚拟现实中的3D重建。例如，对于室内机器人来说，识别场景中的障碍物和目标至关重要，这样它才能与特定目标交互并在场景中移动。实现这一目标需要区分不同的语义标签以及具有相同语义标签的不同实例。因此，研究3D实例分割问题很重要。

从点云进行3D实例分割是一项非常具有挑战性的任务。在承受分散数据和额外维度带来的困难的同时，它也与二维对应物存在相同的问题。首先，实例标签是随机顺序的，这与语义标签有很大不同，很难以端到端的方式直接优化实例标签。其次，对实例分割有很大影响的实例数量在推理过程中是未知的，因此带来了额外的挑战。

图 1. 3D实例分