PU-Net: Point Cloud Upsampling Network

摘要

由于数据的稀疏性和不规则性，使用深度网络学习和分析3D点云具有挑战性。 在本文中，我们提出了一种数据驱动的点云上采样技术。 关键思想是通过隐式地在特征空间中的多分支卷积单元学习多点特征和扩展点集。 扩展的特征会分解为多个特征，然后将其重构为上采样点集。 我们的网络是在补丁级别应用的，具有联合损失函数，该函数鼓励向上采样的点以均匀分布的形式保留在基础表面上。 我们使用合成和扫描数据进行了各种实验，以评估我们的方法，并证明了其相对于某些基准方法和基于优化的方法的优越性。 结果表明，我们的上采样点具有更好的均匀性，并且位置更靠近基础表面。

1.简介

点云是一种基本的3D表示形式，由于各种深度扫描设备的普及，它已引起越来越多的关注。 最近，开创性著作[29，30，18]开始通过深层网络的方法探索点云推理的可能性，以了解几何形状和识别3D结构。 在这些作品中，深层网络不使用传统特征（例如法线和曲率）直接从原始3D点坐标中提取特征。 这些作品为3D对象分类和语义场景分割提供了令人印象深刻的结果。 在这些工作中，对一个上采样问题感兴趣：给定一组点，通过学习训练数据集的几何形状，生成一组更密集的点来描述基本几何形状。 这个上采样问题在本质上与图像超分辨率问题相似[33，20]。
然而，处理3D点而不是2D像素网格带来了新的挑战。 首先，与以规则网格表示的图像空间不同，点云没有任何空间顺序和规则结构其次，生成的点应描述潜在目标对象的基本几何形状，这意味着它们应大致位于目标对象表面上。 第三，产生的观点应是有益的，不应杂乱无章。 话虽如此，生成的输出点集在目标对象表面上应该更加均匀。 因此，输入点之间的简单内插无法产生令人满意的结果。
为了应对上述挑战，我们提出了一种数据驱动的点云上采样网络。 我们的网络是在patch-level应用的，具有联合损失函数，该函数鼓励向上采样的点以均匀分布的形式保留在基础表面上。 关键思想是学习每个点的多级特征，然后通过隐含在特征空间中的多分支卷积单元扩展点集。 扩展的特征会分解为多个特征，然后将其重构为上采样点集。 我们的网络（即PU-Net）从3D模型中学习基于点的面片的几何语义，然后将学到的知识应用于给定点云的上采样。 应该注意的是，与以前为3D点集设计的基于网络的方法[29、30、18]不同，我们网络中输入和输出点的数量是不同的。 我们制定了两个度量标准，即分布均匀性和与下表面的距离偏差，以定量评估上采样点集，并使用各种合成的和实际扫描的数据来测试方法。 我们还评估了该方法的性能，并将其与基于基线和最新状态的方法进行了比较。 结果表明，我们的上采样点具有更好的均匀性，并且位于更靠近基础表面的位置。
相关工作：基于优化的方法。 Alexa等人的早期工作。 [2]通过对局部切线空间中Voronoi图的顶点处的点进行插值来对一个点集进行上采样。Lipman等。 [24]提出了一种基于L1中位数的用于点重采样和表面重构的局部最优投影（LOP）算子。 即使输入点集包含噪声和异常值，操作员也可以正常工作。 相继，黄等。 [14]提出了一种改进的加权LOP来解决点集密度问题。
尽管这些工作已显示出良好的结果，但他们坚决假设其下表面是光滑的，从而限制了该方法的范围。 然后，黄等。 [15]通过首先从边缘重采样，然后逐步接近边缘和角，引入了边缘感知点集重采样方法。 但是，其结果的质量在很大程度上取决于法线在给定点的准确性和仔细的参数调整。 值得一提的是吴等。 [35]在一个连贯的步骤中提出了一种融合和巩固的深层表示方法。 由于其主要重点是填充大孔，因此并未强制执行全局平滑度，因此该方法对大噪声敏感。 总体而言，上述方法不是数据驱动的，因此严重依赖先验条件。
相关工作：基于深度学习的方法。 点云中的点没有特定的顺序，也不遵循任何规则的网格结构，因此，只有最近的几篇著作采用深度学习模型来直接处理点云。 大多数现有的工作将点云转换为其他3D表示形式，例如体积网格[27,36,31,6]和几何图[3，26]进行处理。 Qi等。 [29，30]首先引入了用于点云分类和分割的深度学习网络。 特别是，PointNet ++使用分层特征学习体系结构来捕获本地和全局几何上下文。随后，针对点云的高级分析问题，提出了许多其他网络[18、13、21、34、28]。 但是，它们都集中于点云的全局或中级属性。 在另一篇著作中，Guerrero等人。 [10]开发了一个网络来估计点云中的局部形状属性，包括法线和曲率。 其他相关网络则专注于从2D图像进行3D重建[8、23、9]。 据我们所知，目前尚无专注于点云上采样的工作。

2.网络架构

鉴于3D点云具有不均匀分布的点坐标，我们的网络旨在输出更密集的点云，该点云遵循目标对象的基础表面，同时保持均匀分布。 我们的网络体系结构（见图1）具有四个组成部分：面片提取，点特征嵌入，特征扩展和坐标重建。 首先，我们从一组给定的先前3D模型中提取具有不同比例和分布的点补丁（第2.1节）。 然后，点要素嵌入组件通过分层要素学习和多级要素聚合将原始3D坐标映射到要素空间（第2.2节）。 之后，我们使用特征扩展组件（第2.3节）扩展了特征数量，并通过坐标重建组件中的一系列完全连接的层（第2.4节）重建了3D坐标软件输出点云。

2.1.Patch Extraction

我们收集一组3D对象作为培训的先验信息。 这些物体涵盖了各种各样的形状，从光滑的表面到具有尖锐的边缘和角落的形状。本质上，要使我们的网络对点云进行上采样，它应该从对象中学习局部几何图形。 这促使我们采取基于补丁的方法来训练网络并学习几何语义。 详细地说，我们随机选择这些对象表面上的M个点。 从每个选定的点开始，我们在对象上生长一个曲面补丁，以使该补丁上的任何点都与曲面上的选定点相距一定的测地距离（d）以内。 然后，我们使用Poisson磁盘采样在每个补丁上随机生成N个点，作为补丁上的参考地面真点分布。 在我们的升采样任务中，本地和全局上下文都有助于平稳而均匀的输出。 因此，用不同的大小设置d，以便我们可以以不同的比例和密度提取先前对象上的点补丁。

2.2.Point Feature Embedding

要从patch中学习局部和全局几何上下文，我们考虑以下两种特征学习策略，它们的优势是相辅相成的：
Hierarchical feature learning。 渐进地捕获越来越多的层次结构特征已被证明是提取局部和全局特征的有效策略。 因此，我们采用PointNet ++ [30]中最近提出的分层特征学习机制作为网络中最重要的部分。 为了采用分层特征学习进行点云上采样，我们具体在每个级别使用相对较小的分组半径，因为生成新的点通常比[30]中的高级识别任务涉及更多的局部上下文。
Multi-level feature aggregation。 网络中的较低层通常对应于较小规模的局部特征，反之亦然。 为了获得更好的上采样结果，我们应该以最佳方式汇总不同级别的要素。 先前的一些工作采用跳过连接进行级联的多级特征聚合[25、32、30]。 但是，我们从实验中发现，这种自上而下的传播方式对于汇总我们的上采样问题中的特征并不是非常有效。 因此，我们建议直接组合不同级别的功能，并让网络了解每个级别的重要性[11、38、12]。
由于在每个面片上设置的输入点（请参见图1中的点特征嵌入）在层次特征中被逐步采样，因此我们首先通过PointNet ++中的插值方法从降采样后的点特征中恢复所有原始点的特征，从而将每个级别的点特征连接起来。 。 具体而言，l级别中的插值点x的特征由下式计算：

其中wi（x）= 1 / d（x，xi）是距离权重的倒数，而xi，x2，x3是x在级别l中最接近的三个邻居。 然后，我们使用1×1卷积将不同级别的插值特征缩减为相同的维数，即C.最后，我们将每个级别的特征连接为嵌入点特征f。

2.3.Feature Expansion

在点特征嵌入组件之后，我们扩展了特征空间中的特征数量。 这等效于扩展点数，因为点和特征可以互换。 假设f的维数是N×C，N是输入点的数量，而C是级联嵌入特征的特征维。 特征扩展操作将输出尺寸为rN×C2的特征f0，其中r为上采样率，C2为新特征尺寸。 从本质上讲，这类似于图像相关任务中的特征上采样，可以通过解卷积[25]（也称为转置卷积）或内插[7]来完成。 但是，由于点的非规则性和无序特性，将这些操作应用于点云并不容易。
因此，我们提出了一种基于子像素卷积层的有效特征扩展操作[33]。 此操作可以表示为：
其中C1 i（·）和C2 i（·）是两组单独的1×1卷积，RS（·）是用于将大小为rN×C2向量转化为向量N×rC2。 我们强调，嵌入空间中的特征已经通过有效的多级特征聚集从邻域封装了相对空间信息，因此在执行此特征扩展操作时，我们不需要明确考虑空间信息。 值得一提的是，每个集合中的第一个卷积C1 i（·）生成的r个特征集具有很高的相关性，这将导致最终重建的3D点之间的距离太近。 因此，我们进一步为每个功能集添加了另一个卷积（具有单独的权重）。 由于我们训练网络来学习r个特征集的r个不同的卷积，因此这些新特征可以包含更多种信息，从而减少它们的相关性。 可以通过将单独的卷积应用于r个特征集来实现此特征扩展操作。 见图。 1.还可以通过具有更高计算效率的分组卷积来实现[19，37，39]。
2.4. Coordinate Reconstruction
在这一部分中，我们使用rN×C2的大小从展开的特征重建输出点的3D坐标。具体来说，我们通过每个点的特征上的一系列完全连接的层来回归3D坐标，最终输出为上采样点坐标rN×3。

3.End-to-EndNetworkTraining

3.1.TrainingDataGeneration

由于上采样点云的不确定性或歧义性，点云上采样是一个不适定的问题。 给定稀疏的输入点云，存在许多可行的输出点分布。 因此，我们没有输入和地面真理的“正确对”的概念。 为了缓解此问题，我们提出了一种即时输入生成方案。 具体来说，固定了训练补丁的参考地面真实点分布，而输入点是从地面真实点集随机采样的，每个采样时期的下采样率为r。 直观上，此方案等效于针对给定的稀疏输入点分布模拟许多可行的输出点分布。 另外，该方案可以进一步扩大训练数据集，从而允许我们依赖较小的训练数据集。

3.2. JointLossFunction

我们提出了一种新颖的联合损失函数，以端到端的方式训练网络。 如前所述，该功能应鼓励生成的点以更均匀的分布位于基础对象表面上。 因此，我们设计了一个结合重建损失和排斥损失的联合损失函数。
重建损失。 为了将点放置在下面的物体表面上，我们建议使用 Earth Mover’s distance （EMD）[8]作为我们的重建损失，以评估预测点云Sp⊆R3与参考ground truth点云Sgt⊆R3之间的相似性：

其中φ：Sp→Sgt表示双射映射

实际上，倒角距离（CD）是评估两个点集之间相似度的另一个候选方法。 但是，与CD，EMD相比，它可以捕获形状（有关更多详细信息，请参见[8]），以鼓励将输出点定位为靠近基础对象表面。 因此，我们选择在重建损失中使用EMD。
Repulsion loss.。 尽管利用重建损失进行训练可以在underlying的对象表面上生成点，但是生成的点倾向于位于原始点附近。 为了更均匀地分布生成的点，我们设计了repulsion loss，表示为：
其中ˆ N = rN是输出点的数量，K（i）是点xi的k个最近邻的索引集，||是L2-范数。 η（r）= -r称为斥力项，如果xi太靠近K（i）中的其他点，则它是惩罚xi的递减函数。 仅当xi太靠近其相邻点时才对它们进行Topenalize处理，我们增加了两个限制：（i）仅考虑xi的k近邻附近的xi0点； （ii）在排斥力损失中使用快速衰减权重函数w（r）；也就是说，在我们的实验中，我们按照 [24,14]设置
。

总之，我们通过最小化以下联合损失功能，以端到端的方式训练网络：其中θ表示网络中的参数，α表示其结构损失和斥力损失之间的平衡，β表示权重衰减的乘数。 为了简单起见，我们忽略每个训练样本的索引。

conclusion

在本文中，我们提出了一种用于点云上采样的深层网络，其目标是从更细的点集生成更密集且统一的点集。 我们的网络使用多级特征聚合方式在补丁程序级别进行培训，从而捕获本地和全局信息。 我们的网络设计通过对包含非本地几何的单个要素进行操作来绕开点之间的规定顺序，从而允许上下文感知的上采样。 我们的实验证明了我们方法的有效性。 作为使用深层网络的第一次尝试，我们仍然有一定数量的限制。 首先，不是为完成而设计的，所以网络无法填充大孔和丢失的零件。 此外，我们的网络可能无法添加有意义的要点，这些要点严重采样不足。

将来，我们将研究和开发更多用于处理不规则和稀疏数据的方法，以用于回归目的和用于综合。 紧迫的一步是开发一种下采样方法。 尽管下采样似乎是一个更简单的问题，但仍有空间设计适当的损耗和体系结构，以最大限度地保留抽取点集中的信息。 我们认为，总的来说，针对不规则结构的深度学习方法的发展是可行的研究方向。