ECCV 2022 | 基于点云累积的动态三维场景分析

来源丨泡泡机器人SLAM

编辑丨 一点人工一点智能

点击进入—>3D视觉工坊学习交流群

标题：Dynamic 3D Scene Analysis by Point Cloud Accumulation

作者：Shengyu Huang, Zan Gojcic, Jiahui Huang, Andreas Wieser, Konrad Schindler

01  摘要

用于自动驾驶汽车和移动机器人的多光束 LiDAR 传感器可以获取 3D 范围扫描序列。由于有限的角度扫描分辨率和遮挡，单帧扫描只能稀疏地覆盖场景。稀疏性限制了语义分割或表面重建等下游应用的性能。幸运的是，当传感器移动时，会从一系列不同的视点捕获多帧扫描。这些相邻帧提供了补充信息，在场景坐标系中累积时，会产生更密集的采样和更完整的三维场景覆盖。然而，扫描的场景通常包含移动的物体。仅通过补偿扫描仪的运动无法正确对齐这些移动物体上的点。在本文中，我们探索了多帧点云积累作为 3D 扫描序列的中间表示，并开发了一种利用户外街景几何布局和刚性物体的归纳偏差的方法。与最先进的场景流估计器相比，我们提出的方法旨在对齐公共参考坐标系中的所有 3D 点，从而正确地累积单个物体上的点。我们的方法大大减少了几个基准数据集上的对齐错误。此外，累积的点云也有利于表面重建等高级任务。

02  主要贡献

· 在累积多帧点云获得高密度点云时通常会因物体移动造成伪影，本文利用移动物体实例分割和运动估计等一系列方法，消除了累积点云中移动物体的伪影，这有利于提升三维目标识别等下游任务的准确性。

· 相比于之前的工作，本文着重对移动物体和静止场景相对于移动中的 LiDAR 传感器运动建模，而不是对每一个点独立地估计运动流。这样的方式可以充分利用刚体运动的假设，从而提升运动流估计的准确性。

03  方法概述

图2 总结了将 T 帧点云对齐和累积的方法流程。首先对每一帧点云进行前景与背景分割。背景点被用来估计传感器的自我运动，而前景点则继续被分类为移动或静止的前景。根据移动的前景点的位置和运动，它们被分割为不同的物体，并进一步估计这些物体的刚性运动。最终，移动的物体的运动流由其与传感器的相对运动决定，而三维街景和静止物体的运动流则由传感器自身运动估计决定。将运动流估计应用到相关点云上则可以累积获得对齐的多帧点云。

3.1 骨干网络

输入点云首先由 PointPillars 骨干网络转化为鸟瞰视角下的特征图像，然后通过 2D UNet 提取特征图像 Fbase，并预测前景分割sFG。

3.2 传感器运动估计

在所有Pillars中随机取样 Nego 个前景值小于