基于LiDAR的小型无人机的检测和跟踪_低慢小无人机识别跟踪算法

分享一篇要钱才能下载的文章，花了我17刀，肉疼呀。

《LiDAR-based detection and tracking of small UAVs》

摘要

  由小型无人机引起的已报告事件的数量，无论有意还是无意，都在增加。为了避免将来发生此类事件，必须能够检测到无人机。众所周知，LiDAR传感器（例如激光扫描仪）是用于物体检测和跟踪的适当传感器。

  在本文中，我们扩展了现有的基于LiDAR的方法，用于跟踪和检测（低）飞行中的小型物体，例如商用微型/微型无人机。我们证明，只要无人机的运动与LiDAR传感器在扫描性能，范围和分辨率方面的能力相对应，就可以通过所提出的方法来检测无人机。可以进一步分析被跟踪对象的轨迹以支持分类，这意味着可以通过识别典型的运动模式来区分UAV和非UAV对象。通过精确预测无人机的运动，可以实现对无人机的稳定跟踪。除了对目标位置的这种精确预测之外，还必须实时实现对象检测，跟踪和分类。

  为了进行算法开发和性能分析，我们分析了在现场试验期间获取的LiDAR数据。由安装在汽车上的四个360°LiDAR传感器组成的系统观察到了几种不同的微型/微型无人机。使用这种特定的传感器系统，结果表明，所提出的方法可以检测和跟踪无人机，从而可以保护汽车免受半径最大为35 m的无人机的威胁。

关键字：

3D对象检测，360°LiDAR扫描，无人机检测，无人机跟踪，扫描线分析

介绍

  易于操作的低成本无人机在全球范围内的使用会导致问题日益严重，从误导性玩具到滥用无人机从事间谍活动或其他敌对活动。特别是对于诸如机场，公司办公场所或军事设施等敏感区域，需要用于检测，跟踪和监视无人机的选项。

  小巧的无人机不仅使它们的检测和跟踪成为一项复杂的任务。它们的高加速能力，较高的最高速度以及在所有三个维度上均具有出色的机动性，这使得难以跟踪无人机或可靠地预测其飞行路径。但是，大多数已知的标准监视技术都可以应用于无人机检测：

•   在可见光[1] [2]和SWIR [3]光谱中，摄像机有多种方法。对于所有基于相机的算法，主要挑战是将物体与背景分离。此外，检测结果主要取决于图像的质量，例如，分辨率和对物体的聚焦。

•   用于检测（飞行）物体的另一种成熟技术是雷达传感器的使用。 Noetel等。 [4]描述了两种类型的毫米波雷达，用于检测和跟踪小型无人机。雷达对无人机的探测主要受到大多数无人机的低雷达截面的限制。

•   Christnacher等人描述了用声学传感器检测无人机。在[5]中。基于声学天线阵列，可以连续测量飞行中的无人机的声学特征。通过这种硬件设置，可以检测和跟踪各种各样的UAV声音（高达6.8 kHz）。

•   Christnacher等人提出了采用门控观察形式的主动成像技术进行无人机检测和跟踪。 在[5]中。 与使用CCD摄像机成像相比，选通观看的主要优点是可以在对象周围设置选通并抑制前景和背景。 为此，必须首先知道到无人机的距离。

•   通过应用由雷达和声学特征检测与跟踪以及有源和无源光学识别组成的多传感器网络，研究了一种多模式传感方法[6] [7] [8] [9]。

•   此外，首次调查考虑了扫描LiDAR（光检测和测距）系统的应用[8] [10]。

  事实证明，由LiDAR传感器获取的3D点云是物体检测的良好基础，例如，对于人[11]，汽车[12]或轮船[13]。 当今可用的扫描LiDAR系统代表了可接受的分辨率，可实现的刷新率和视野（FOV）之间的折衷方案。 大多数LiDAR传感器的稀疏分辨率似乎使其非常不适用于无人机检测。 另一方面，基于LiDAR的检测方法显示出许多优点：将对象从前或背景中分离相对容易，检测到对象后立即知道其确切3D位置，并且传感器不依赖于日光 条件。

  在本文中，我们评估了不同LiDAR传感器在检测无人机中的潜力，并研究了相对于检测范围的检测性能。 为了评估不同类型无人机的能见度，显示了一个实验性LRCS调查的示例。

2. 数据集

  在我们的实验中，我们使用了与测量仪器MODISSA [14]一起在圣路易斯大学（ISL）和弗朗霍夫高频物理与雷达技术研究所合作进行的联合田间试验中获得的数据 胎心率[9]。

2.1传感器平台

  图1所示的车辆配备了多个扫描LiDAR传感器，用于全方位监控的各种摄像机，云台上的EO和SWIR摄像机以及惯性测量单元（IMU）和两个GNSS（GPS，GLONASS）接收器。我们将两个安装在车辆前部车顶上的LiDAR传感器Velodyne HDL-64E与安装在汽车后部车顶上的两个LiDAR传感器Velodyne VLP-16 PUCK结合使用。每台HDL-64E能够在高达120米的范围内每秒执行130万次测量。其垂直视场角为26.9°，分为64条扫描线，因此垂直分辨率为0.4°。由于传感器头旋转，在10 Hz的典型旋转频率下，水平视场覆盖360°，分辨率约为0.17°。这意味着一次360°扫描的每个点云可能包含大约13万次测量。但是，由于并非每个发射的激光脉冲都导致返回回波的检测（例如，针对天空或水面的测量），因此所得的点云通常较小。较小的VLP-16具有16条扫描线生成的30°垂直FOV(刷新率和视野)，导致垂直分辨率为2°。在10 Hz的旋转频率下，水平分辨率约为0.2°，并且一次360°扫描最多可以包含30,000次测量（3D点）。 LiDAR测量值的记录是时间同步的，并且四个传感器的几何构图是已知的，因此可以将四个单独的点云轻松合并到一个公共坐标系中。

  两个HDL-64E传感器以向下倾斜25°且向外倾斜45°的方式安装到传感器支架上（参见图1），VLP-16向下倾斜15°并以45°倾斜的角度安装到传感器支架上°向外。这种特殊的配置会导致向上方向（例如，朝向建筑物外墙）的FOV增大。否则，如果将HDL-64E按照制造商的意图水平安装在诸如自动驾驶之类的应用中，则其FOV将覆盖+ 2°至-25°的仰角，这对于UAV检测是不合适的。通过我们的设置，至少在周围的部分区域中可以实现高达+ 27°的仰角。

2.2 现场试验

  在Baldersheim（法国）附近的试验场进行了现场试验。 其主要目标是获取现实的传感器数据，以评估不同传感器技术对低空飞行的小型无人机（微型/微型UAV）的检测，跟踪和识别能力。 这些活动的另一个方面是对传感器网络的研究，该网络包括小型雷达系统，分布式声学天线，无源/有源EO / IR成像和静态以及车载LIDAR传感器[9]。 传感器车辆MODISSA既固定又移动。 在此设置中，不同类型的小型无人机（见图2）用于不同的场景，例如升/降无人机，进近型无人机，可发动攻击的无人机，高空巡逻的无人机，快速飞越的无人机以及 各种动作。

2.3 激光雷达截面测量

  使用LiDAR传感器进行物体检测的质量不仅取决于传感器的分辨率。 物体的反射率至少同样重要。 由于无人机体积小，结构复杂且由各种材料制成，因此我们希望量化其反射率，从而量化LiDAR传感器的可见性。 为此，我们检查了激光雷达截面。

  对于LiDAR系统，由（1）中的LiDAR方程[15]定义接收到的光子数量或来自已分解目标表面的撞击光子通量的强度。 在此，$P_T$是发射的光功率，$\sigma$是激光雷达横截面（LRCS），$A_{illum}$和$A_{rec}$分别是照明区域和接收器表面，R是范围。 此外，${\eta }_{atm}$和${\eta }_{sys}$描述了大气和光学系统的光学传输效率。

  LRCS $\sigma$描述了一个相对目标尺寸，由Wyman [16]定义为入射光辐照度H（每单位面积W）与每个球面度的总散射功率PS之比$\sigma =P_S/H$。1992年，Osche 等。 [17]建立了一种从高分辨率点云确定LRCS的方法。 后来，Laurenzis等人。 [18] [19]已将此方法改编为使用主动成像数据和来自计算渲染的图像。

  在图3中，显示了从主动成像数据进行实验性LRCS调查的示例。 如Christnacher等人所述，实验是在法国德国研究所的低光隧道中使用短波红外（SWIR）有源成像系统进行的。[5]。

  在图3（a）中，图像显示了将无人机安装在SWIR门控观察系统前方40 m范围内的旋转平台上。 在（b）中，示出了在不同旋转角度的无人机的SWIR门控观察图像。 从这些图像中，可以通过所有强度值的积分得出无人机的LRCS。 在图3（c）中，将实验结果与理论模型进行了比较。

  将实验数据点（实线实心圆）校准为弥散白色。 无人飞机在大多数方向上显示出几乎各向同性的横截面，LRCS = 0.015 m2。 一些明显的高LRCS峰值出现在0度角处。 90度 180度 270度，发生镜面反射光。 在这里，可以观察到最大LRCS为0.047平方米，是其他旋转角度下的最大LRCS的三倍。

方法

  所提出的目标检测和跟踪算法利用了点云的密集，有序结构，这些点云与激光扫描仪的单次360°旋转（有组织的云）相对应。在下文中，我们称单个扫描或帧，由n行或扫描线（对于HDL-64E，n = 64；对于VLP-16，n = 16）和m列（m取决于脉冲重复频率和扫描仪头的旋转频率）。使用Velodyne传感器时，会生成单个帧，因此对于每个发射的激光脉冲，即使它是NaN，也会记录一个数据值，因为不可能进行实际测量（距离太远，反射率低等）。由于这种有序的数据结构，类似于范围图像，对于每个点，可以轻松确定同一条扫描线内其相邻点的范围值。

3.1 单个360°扫描的分割

  正如我们在较早的工作[20]中所显示的，以及从文献[21]中所知道的，如果3D数据像上面所述的那样被组织为点云，则可以进行快速的几何3D分割，即范围图像的行中的相邻像素的像素数是已知的。首先，这需要进行2D分割，只要未发现超过给定阈值的范围变化，就可以对行的相邻点进行聚类。所有宽度小于目标对象最大宽度的线段（这意味着至少两个相邻点）（对于检查的小型UAV，我们假定最大1.2 m，见图2）被进一步检查为可能的与目标相关的2D集群。由于种类繁多（一个2D簇可能包含两个到200个以上的点），每个传感器都检测到大量2D簇，其中大多数是距离较远的粗糙地面的假象。

3.2 3D点云和3D群集的合并

  MODISSA的四个时间同步LiDAR传感器以已知的固定相对方向安装在传感器支架上，这样各个点云便可以转移到公共坐标系中。因此，很容易将我们从各个分割过程中获得的2D聚类合并到一个大型聚类集中。如果所有这些2D群集水平重叠且不超过最大垂直距离，则将它们进一步合并为3D群集。 3D群集的x-y方向上的总宽度或高度（z尺寸）大于UAV的最大尺寸。每帧3D群集的数量通常在几到几百个潜在对象之间变化。假设无人机必须与场景（墙壁，树木或地面）保持最小距离，我们发现在点云中孤立的3D群集，即在其直接方向上没有或只有很少其他点的3D群集邻里。隔离群集的检测是通过一个占用栅格来完成的，该栅格由所有四个传感器的所有点组成，栅格大小为0.5 m。结果，对于每帧，潜在的UAV对象的数量通常可以从数百减少到少于二十。

  由于无人机的LRCS很小（请参阅第2.3节），而且LiDAR扫描仪的分辨率有限，因此即使在短距离内，每个无人机的点数也很低。 由于这个事实，对点云对象（剩余的3D群集）进行进一步的几何分析不是很有希望。 进一步分类对象（UAV /非UAV）的更好方法是对其运动进行分析。 这需要跟踪3D群集。

3.3 追踪3D点云

  我们记录每个Velodyne LiDAR传感器的连续数据流，将其细分为单个360°扫描（帧）。在最后一帧中检测到的对象应该在当前帧中的最后一个位置或外推的下一个位置附近。为了找到这样的对应对象，使用第一帧的所有检测到的对象来建立轨道列表。对于所有后续帧，将所有检测到的3D对象的坐标与轨道列表中的对象进行比较。每个新对象都以最小距离分配给轨道列表中的该对象。如果轨道列表中没有距离阈值以下的此类对象，则将新对象设置为新轨道。不管当前的观察如何，对于轨道列表中的每个对象，使用卡尔曼滤波器来计算其进一步运动的预测。可以为轨道列表中的每个对象计算一些功能，例如当前速度和整体运动。对于分类为UAV，必须连续至少检测3次物体，当前速度和加速度必须在实际范围内，并且总运动量必须至少为0.5 m。这种整体运动消除了诸如标志或树木部分之类的物体，它们以可接受的速度和加速度显示出摆动运动。没有任何移动的对象可以归为非UAV。运动的预测使得即使在物体保持其最后轨迹恒定的情况下，即使在一些丢失的检测之后仍可以继续物体的跟踪。

实验结果

4.1 现场试验

  在现场试验期间，我们记录了8种不同情况下超过1小时的数据，其中57％由地面真相数据补充，这些数据由附在无人机或属于无人机的GPS接收器提供。由于LiDAR传感器的FOV受限制，因此只有很少的扫描包含UAV对象。在4704个39 476帧（12％）中检测到UAV。为了定量评估我们的方法（精确度和召回率），仅考虑具有地面真实性信息的方案。总体而言，应该在22 476帧中检测到2339架无人机，这意味着该无人机位于FOV范围内，且距离小于50 m。

4.2 检出率

  很难给出精确的数字，例如精确度和查全率的查全率，因为这样的计算将需要准确的地面真实信息。无人机轨迹记录的地面真相来自其机载GPS传感器，但是鉴于无人机的高速运行，由于GPS读数的更新率较低，因此数据的准确性受到限制。另一方面，由于传感器的倾斜角度不同，我们系统中LiDAR传感器的总体FOV相当复杂（请参阅第2.1节）。详细地说，无人机的高度对其可检测性至关重要。 GPS测量的高度值通常比水平值更模糊，并且在水平扫描360°时，LiDAR传感器的垂直FOV受到严格限制。此外，由于我们的传感器平台MODISSA上的传感器数量众多，单个传感器的FOV可能会受到视线内其他传感器的限制。因此，很难确定LiDAR传感器是否应该可以检测到无人机（GPS高度模糊）。

  尽管地面真实信息可能不那么精确，但我们还是计算了检出率或查全率（真阳性（TP）除以真阳性和假阴性（FN）之和）以及精度（TP除以我们的四个LiDAR传感器系统的TP和误报（FP）。在此分析中，我们仅考虑具有补充的地面真实数据的那些测量。在三种情况下，应该在传感器的FOV中看到2339架无人机，其中有1248架被正确检测（TP）。 1091无人机可能在FOV中可见，但未检测到（FN）。召回率估计为53.3％，鉴于地面实况信息不完善，应将其视为下限。为了减少被错误分类为无人机（FP）的物体数量，在分类步骤中引入了许多优化措施，尤其是具有速度和加速度评估功能的跟踪算法。结果，仅发现了47个FP，精度可估计为95.6％。

4.3 传感器适用性

  以上数字是使用所有四个可用的LiDAR传感器获得的。但是必须考虑的是，两种传感器类型的数据质量在数量上有很大差异。较小的VLP-16相对便宜且易于使用，但其垂直分辨率大约是HDL-64的五倍。在12.5 m的距离内，VLP-16的两条连续扫描线之间的间隙为0.43 m（HDL-64：0.09 m，有关在12.5 m距离内的两个传感器的典型扫描模式，请参见图4（a）和（b））。 ，导致错过无人机的可能性很高。这导致两个传感器系统的召回号码明显不同。在两个HDL-64的FOV中有1843架UAV被检测到1151架，召回率为62.5％。相比之下，两个VLP-16仅检测到97架无人机，而应该可以看见496架，导致召回率为19.6％。此示例说明，即使在12.5 m的低距离内，VLP-16也是偶然碰到物体的。两种传感器类型的检测到的无人机的直方图（图4（c））显示，VLP-16仅在低范围内检测到了无人机。得出这样的结论：低（垂直）分辨率的360°扫描LiDAR系统不太适合在有用距离内进行无人机检测。

4.4 检测范围

  可以检测无人机的最大范围是使用全景扫描LiDAR系统的关键参数。 Velodyne传感器针对自动驾驶等应用进行了优化，不适用于远程UAV检测。 对于具有80％反射率的目标，HDL-64E的最大范围规定为120 m。 由于大多数无人机的LRCS很小（请参见第2.3节），因此，即使在其他良好情况下，无人机的最大探测距离也要短得多。

  由于VLP-16的检测性能受到其垂直分辨率的影响（如第4.3节所述），因此仅对HDL-64的数据集执行以下分析。 我们将FOV中的1843架无人机分为8个航程级别，每个航程宽5米，并计算每个级别的召回率（见图5）。

  每类无人机的绝对数量主要与无人机的运动有关，无人机的飞行频率通常在25 m至30 m范围内。 另一方面，召回率与绝对值无关，对于低于35 m的范围，召回率非常高，约为70％；对于高于范围的，召回率下降至30％左右。

  如果我们查看每个范围类别中的理论扫描模式（图6），可以注意到，召回率下降超过35 m时，两条扫描线之间的垂直距离明显大于目标高度。 水平方向上降低的点密度也可能会降低召回率，但似乎传感器的垂直分辨率至关重要。

  选择50 m的自我施加的检测极限，使得如果目标被水平扫描线击中，则目标应至少产生两个点。 考虑到上述与范围相关的召回值，最大检测极限为35 m似乎更适合可接受的检测率。 使用这两个约束条件，仅考虑两个HDL-64和最大检测范围35 m，我们就能够在FOV中检测到894台1259无人机。 考虑到有问题的地面真实情况，召回率为71.0％，这是很高的。

4.5 路径预测

  如3.3节所述，我们使用卡尔曼滤波器来预测每个被跟踪物体的下一个位置。 因此，即使传感器暂时无法获取无人机的信号，我们也可以估算出无人机的位置。 如果使用这些虚拟UAV位置，则会获得召回值，如图7所示。

  对于所有射程类别，未检测到的无人机数量都会减少，召回率也会增加。 尽管如此，在35 m以上仍存在召回率的大幅下降。 通过这些优化的参数（距离<35 m，仅HDL-64和路径预测），检测到1447架无人机中的1261架，召回率达到87.1％。

5. 结论和未来的工作

  对于所有射程类别，未检测到的无人机数量都会减少，召回率也会增加。 尽管如此在本文中，我们研究了相对于两个不同的360°LiDAR系统检测范围的检测性能。我们已经表明，只要UAV在传感器的FOV中并且传感器与UAV之间的距离不太大，就有可能以很高的概率检测UAV。一个显着的发现是，对于35 m以上的距离，检测率降低了，这可以追溯到目标上的低点密度。另外，扫描线之间的间隙允许无人机在这些距离内保持未被检测到。可以注意到，较小的VLP-16传感器不太适合10 m以上范围内的无人机检测。另一方面，HDL-64在距离最大为35 m时显示出良好的结果，在距离最大为50 m时显示出基本的可用性。由于通过跟踪方法进行检测，因此只能在至少三个观察之后进行检测，这导致至少两个对象在相应轨道的开始处未分类。我们的传感器车辆MODISSA上的LiDAR传感器复杂的FOV可能会由于传感器托架上其他硬件的遮挡而导致错过UAV检测，但似乎该问题主要可以通过使用无人机从轨道上的预测位置来解决名单。

  对于所有射程类别，未检测到的无人机数量都会减少，召回率也会增加。 尽管如此对范围相关召回的分析表明，目标上的最大点距离不应超过最小目标尺寸，即，对于无人机而言，高度应为25厘米。对于Velodyne HDL-64E，在35 m目标距离处可以达到这个临界点距离。有了这些知识，我们可以计算出基于激光雷达的无人机在50 m距离（传感器​​分辨率<0.28°）甚至100 m距离（传感器​​分辨率<0.14°）中的传感器规格。但是，即使使用具有如此高分辨率的LiDAR传感器，由于LRCS较低，因此无人机的后向散射信号也较低，因此检测率很可能会降低。

  对于所有射程类别，未检测到的无人机数量都会减少，召回率也会增加。 尽管如此基于LiDAR的无人机检测的主要优势是自动测量的无人机3D坐标。特别是对于近距离设施保护等应用以及对策而言，需要精确的无人机轨迹。除此之外，LiDAR能够抵抗光照和环境条件的变化。尽管在现场试验中使用了一组不同的微型/微型无人机，但给出的结果并未关注无人机类型之间的差异。对于一种无人机，对LRCS进行了实验研究。应进一步研究不同无人机的LRCS对检测率的影响。本文提出的结果应通过另一组数据进行验证。跟踪和检测算法也应在具有多个无人机的情况下进行测试。应特别注意无人机路径的准确地面实况。