寸_铁

这个屌丝很懒，什么也没留下！

热门标签

PointMC: Multi-instance Point Cloud Registration based on Maximal Cliques 论文解读

作者：寸_铁 | 2024-08-08 16:50:06

踩

一、导言

该论文来自于ICML2024。提出一个基于最大团的多实例点云配准方法，通过基于局部空间一致性的对应嵌入模块来去除离群点，优化了以往方法中存在的基于全局空间一致性和耗时的高维对应特征聚类（来自于PointCLM）存在的难以配准重叠场景和成本代价较高的问题。

（1）提出了一种基于局部空间一致性的对应关系嵌入模块来去除离群点。

（2）去除离群点后的对应关系兼容图上搜索最大团，高效估计多实例点云配准中的多个变换，并将变换聚类成不同实例的簇，来精确估计姿态，克服现有方法依赖全局空间一致性和耗时的高维特征聚类的局限性。

二、前置知识

1、多实例点云配准

多实例点云配准，即在同一场景中有一个源点云以及若干相同物体但不同姿态的目标点云，目的是估计目标点云与源点云之间的多个姿态。（如下图黄色点云为源点云，蓝色点云为目标点云，绿色的框代表待预测框，红色的框代表已检测的框，所以同时有红绿框标注的表示已检测，只有绿框代表未被检测）

2、RANSAC

RANSAC算法是从一群含有离群值（“外点”）的数据中，拟合数据的算法，模型参数由内点影响，而我们需要舍弃外点来保证尽可能不被外点影响。

RANSAC算法流程：

（1）从数据集中随机选择建模所需最小数量样本点，拟合出一个模型（模型的类型、直线或是多项式函数提前定义）

（2）使用该模型去评估数据集中所有样本点，计算每个点到模型的距离

（3）当该距离小于某一阈值时，视为内点，其余点视为离群点。

（4）计算内点的数量，若内点数量超过一定比例，则接受当前模型。

（5）重复上述四个步骤，直到该模型满足要求。

三、相关工作

1、成对的点云配准

成对的点云配准一般分为三个子任务包括点匹配、离群值去除、变换估计。

传统的点云配准工作：依赖于人工制作的描述子，而缺少对于噪声和异常值的考察。

基于深度学习的点云配准工作：通过有效的提取特征，来避免受到异常值的影响，如PCAM（利用多尺度注意力机制，计算不同尺度下的交叉注意力矩阵乘积，以捕捉点云之间的几何关系）、REGTR（同时应用自注意力和交叉注意力机制）、RegFormer（应用新型双射关联注意力机制）。

异常值去除的工作：RANSAC（随机采样一致）、Predator、DGR（离群值去除视为二元分类问题，并输出置信度分数）、MAC（基于最大团，对空间一致性构建最大团进行筛选）。

基于对应的工作：一般使用可微加权的SVD来进行异常值处理。

2、多实例点云配准

多实例点云配准难点：既需要过滤对应中的离群值，有需要将剩余的对应聚类到单个实例中。

ECC：根据点云刚性变换时的全局空间一致性，通过距离不变矩阵将噪声聚类到不同的独立的簇中，解决了出现大量离群点的情况，但对于多个相似实例会出现漏检情况。

PointCLM：学习基于对比学习的高维对应特征，通过光谱聚类对高维特征进行聚类，但高维特征的聚类相当耗时。

MAC：本论文采用基于最大团的多实例配准方法，通过短时间聚类多个刚性变换的低维表示来得到最终结果。（本论文通过更优的聚类算法，使用局部空间一致性来克服降低维度带来的影响）。

四、PointMC框架

PointMC框架输入候选的对应关系，输出代表多个实例位姿的多个刚性变换，PointMC由四个部分组成，对应过滤、兼容图构建、最大团搜索与变换生成、变换聚类。

1、对应过滤

对应过滤由基于图的对应嵌入模块和分类头组成。

（1）局部空间一致性

全局空间一致性（来自PointDSC论文）：其中 $d_{ij}$ 为X轴与Y轴方向两个点间的长度差异， $\sigma_d$ 为一个缩放因子， $[ \ ]_+$ 代表 $(0, \cdot )_{max}$ 。

（其中在PointDSC论文中还定义一个特征相似度，将上述式子的 $d_{ij}$ 改为L2范数。）

局部空间一致性（该论文）：即保证对应关系中源点和目标点都在一定空间范围内，再用空间一致性公式计算。其中 $c_i,c_j$ 代表对应关系中的两个点， $x_i,y_i$ 代表 $c_i$ 的坐标。

（2）基于图的对应嵌入模块

点云中的点是一个六维向量，包括三维坐标和三维法向量，（理论上点云上的点应该在物体表面，所以如果算出局部区域内由若干点构成的平面，平面中心，平面上的顶点以及平面外一点之间的夹角小于直角，是不是更有可能是噪声点？一个猜测）

首先将该点与他的余弦值和正弦值（两个低频向量）组成一个18维的向量（升维）。

将该向量经过三层MLP（每层添加BN层，使用LeakyReLU，最后一层使用sigmoid输出），并引入具有局部空间一致性感知的自注意力机制（SCASA）模块，提取出对应关系特征，输出置信度得分。

（3）分类头

通过计算嵌入模块输出的置信得分，以及真实情况下的置信得分来计算二元交叉熵用于分类，置信度低于阈值则认为是离群点，将其删除。

2、图生成

经过对应过滤步骤，我们得到一个相对干净的对应集合，并根据该集合构造二阶兼容图。二阶兼容图相比于一阶增强了对异常值的鲁棒性，也促进了稀疏性，有助于最大团搜索。

兼容图生成工作来自于MAC论文，提到两种兼容图构建方式。

一阶图生成(FOG)：根据对应点对 $(c_i,c_j)$ 之间的刚性距离约束来构建兼容图，即计算 $(c_i,c_j)$ 的边的权重，若权重小于一定阈值则不存在边，权重设置为0，反之权重不变。权重计算如下：

$S_{emp}(c_i,c_j)=exp(\frac{-S_{dist}(c_i,c_j)^2}{2d_{emp}^2})$

其中 $S_{dist}=| \ ||x_i-x_j||-||y_i-y_j|| \, |$ ， $d_{emp}$ 为缩放因子。

二阶图生成（SOG）：在一阶图基础上，考虑全局集合中共有的兼容对应点对数量（矩阵乘法作为系数优化FOG），相比与一阶图边的构建更加严格，与相邻节点兼容性更高，也更加稀疏。

$W_{SOG}=W_{FOG}\bigodot (W_{FOG} \times W_{FOG})$

其中 $W_{FOG}$ 是一阶图生成的权重矩阵， $\bigodot$ 表示元素级乘积， $\times$ 表示矩阵乘法。

元素级乘积: $A\bigodot B=\begin{pmatrix} a_{11} &a_{12} \\ a_{21} & a_{22} \end{pmatrix} \bigodot \begin{pmatrix} b_{11} &b_{12} \\ b_{21} &b_{22} \end{pmatrix} = \begin{pmatrix} a_{11}b_{11} &a_{12}b_{12} \\ b_{21}b_{21} &b_{22}b_{22} \end{pmatrix}$ 。

3、最大团搜索与变换生成

最大团搜索的目的，找到同一物体下的多个不同位姿的点云，实现多实例点云配准。

最大团搜索在二阶兼容图基础上，采用改进的Bron-Kerbosch算法来进行搜索，可以保证搜索完全性（防止多实例点云出现漏检），该方法通过回溯法优化搜索过程。

改进的Bron-Kerbosch算法：原算法通过回溯方法，可以找到所有的解，改进方法主打使用GPU资源分布式计算，将一个问题拆分若干子问题，通过并行方式进行处理，来合理利用GPU资源，提高计算速度。

变换生成：对于每一个团中的兼容对应应用SVD或者可微加权的SVD得到变换的集合，也就是低维姿态向量。

4、转换聚类

将转换的低维姿态向量集再次看成聚类问题，最终的实例作为聚类数。该论文使用DBSCAN和Chameleon两种方法进行聚类，DBSCAN具有更少的参数量，更低的计算复杂度，Chameleon具有更好的性能。

最终变换姿态取聚类中的源点云和预测点云间误差平均最小值。

五、实验

1、数据集

使用Scan2CAD真实数据集和ModelNet40合成数据集进行训练

2、评估指标

RE（旋转误差）、TE（平移误差），阈值设为RE<15,TE<0.1。

MP（平均精确率）、MR（平均召回率）、MF（平均调和数）——考虑多实例下取平均

3、对比实验

在多实例点云配准问题上，对于具有多个重叠实例的Scan2CAD和Modelnet40数据集进行训练，并对比PointCLM、ECC、CONSAC、RansaCov、T-Linkage模型，在模型的姿态预测效果，以及耗时上均达到最好。

在ModelNet40中，对比多个框架的多实例预测实例。

4、消融实验

测试局部空间一致性、二阶兼容图以及聚类方法对处理离群点去除、耗时问题、多实例处理的有效性。

论文参考：ICML Poster PointMC: Multi-instance Point Cloud Registration based on Maximal Cliques

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/949115