SupSLAM：使用SuperPoint用于无人机的鲁棒视觉惯性 SLAM 系统

近年来，使用机器学习技术进行特征提取的现代基于特征的 SLAM受到越来越多的关注，并有望在几乎所有机器人工作环境中超越传统方法。这种方法利用经过训练的网络来学习关键点，从而增强视觉SLAM数据关联的鲁棒性。由于资源有限，无人机上的SLAM通常会对计算造成限制。因此，提取特征点的方法在SLAM中起着关键作用。我们介绍了一种名为SupSLAM的视觉惯性SLAM方法，该方法基于使用称为SuperPoint的新特征点。这些特征点是通过深度神经网络从SLAM前端的输入图像中提取的。我们的SLAM前端只需要一个带有IMU作为输入的立体相机。姿态估计由多状态约束卡尔曼滤波器 (MSCKF)进行，而轨迹可靠性由在后端运行的图优化过程保持。

我们的SLAM系统如图1所示。该系统使用立体相机作为输入来提取环境的特征。该相机配有IMU，用于测量线加速度和角速度。然后通过前端和后端模块处理来自输入设备的数据。

图1 SupSLAM系统概述

SuperPoint是一个完全卷积神经网络，它在单次前向传递中计算 2D特征点位置和描述符并运行。在我们的工作中，我们只考虑特征点来降低计算成本并保持匹配结果的一致性。使用的SuperPoint架构如图2所示。

图2 SuperPoint的模型架构

实验中使用真实数据和合成数据。真实数据包括三个最复杂的序列。合成数据包括两个场景，代表农村农场和城市区域，由我们从AirSim 开发的工具集生成，如图3所示。农村农场模拟了一个地形崎岖不平、植物种类繁多、农业设备齐全的农村环境。市区呈现出与汽车、树木和生活场所不同的平坦区域。

图3 用于实验的农村农场和城市区域的合成场景

无人机以5m/s的速度和5m的高度沿矩形轨迹飞行，形成名为LoopF的数据集。在这些场景中，我们使用类似于用于EuRoC数据集的系统的无人机配置，即20Hz立体相机和200Hz IMU。然而，我们的数据集更具挑战性，因为无人机在可追踪地标较少的环境中以更高的速度飞行更远的距离。

我们使用两个指标进行性能评估，包括绝对轨迹误差（ATE）和相对轨迹误差（RTE）。通过首先将估计的轨迹与地面实况对齐，然后测量它们之间的差异来计算ATE，如图4a所示。RTE是通过将估计的轨迹划分为段dk来计算的，然后将每个段与地面真实轨迹对齐以计算误差，如图4b所示。

图4 评估指标的说明 (a) 绝对轨迹误差和 (b) 相对轨迹误差

图5显示了SuperPoint在三个场景中检测到的特征点，包括市区、农村农场和机房，具有两种不同的设置，100个和400个特征点。可以看出，边角、边缘、颜色变化等特征都被很好地检测到了。此外，检测到的特征分布在图像中，因此算法对某些对象的依赖性较小。

图5 Superpoint检测到的特征点

图6显示了检测到的特征点在左右图像之间的对应关系。可以看出，大多数特征点都被正确匹配，这意味着提取的深度信息是可靠的。

 图6 Superpoint检测到的特征点

图7a显示了在不同时间Δt=0.3s捕获的两个图像帧之间的特征点跟踪。由于检测到的特征点分布在整个图像上，因此帧之间的公共特征点的数量得到了很好的保持，这对于稳定的SLAM很重要。

图7 在时间差Δt=0.3s的情况下捕获的两帧中（a）快速和（b）超点跟踪结果

图8显示了LoopF数据集的SLAM结果，其中无人机在农村农场上方飞行两圈。可以看出，即使在近500m的长距离内，最终估计的轨迹（红线）也能很好地跟踪地面真实轨迹（黄线）。

图8 LoopF 数据集的无人机轨迹包括地面实况轨迹（黄线）、前端估计（绿线）和后端估计（红线）

为了进一步评估我们方法的性能，我们与OpenVINS 进行了比较，这是一种使用FAST进行特征提取的最先进的SLAM系统。图9显示了FAST检测到的特征点。与SuperPoint不同，这些特征点集中在某些对象周围，例如植物、房屋或机器。因此，如图7b所示，当物体移出场景时，在不同时间拍摄的图像帧之间的共同特征点的数量显着减少。这个问题反过来会影响SLAM结果。

图9 FAST 检测到的特征点

与其他特征提取方法相比，SuperPoint提供了更好的特征点分布，从而提高了快速移动场景中的跟踪性能。由于SuperPoint是一个预训练网络，它还需要较少的计算资源，因此适用于有效载荷和电池容量有限的无人机。

源自：2021 8th NAFOSTED Conference on Information and Computer Science (NICS)