自动驾驶公司最喜欢的SOTA算法来了！CVPR2024： HPNet-生成准确稳定的未来轨迹！_hpp 路径预测

论文标题：

HPNet: Dynamic Trajectory Forecasting with Historical Prediction Attention

论文作者：

Xiaolong Tang, Meina Kan, Shiguang Shan, Zhilong Ji, Jinfeng Bai, Xilin Chen

导读：

本文提出了一种动态轨迹预测方法，通过结合历史帧和历史预测结果来提高预测的稳定性和准确性。它引入了历史预测注意力模块，以编码连续预测之间的动态关系，并通过三重因子注意力模块实现了最先进的性能。本方法能够生成准确且稳定的未来轨迹，这对于自动驾驶系统落地至关重要。©️【深蓝AI】编译

1. 本文概要

在自动驾驶中，精确预测道路智能体的未来轨迹至关重要。现有的方法主要采用了一种静态的范式：通过固定长度的历史帧来预测未来的轨迹。然而，这些方法在相邻时间戳中独立进行预测，可能会引起预测的不稳定性和不一致性。考虑到连续时间戳中的历史轨迹大量重叠，预测结果应当展现出内在的相关性，例如，重叠的预测轨迹应保持一致，或者在不同的情况下，根据道路状况共享相同的运动目标。

基于这些考虑，作者提出了HPNet——一种创新的动态轨迹预测方法。为了确保轨迹预测的稳定性和准确性，我们的方法不仅利用了包括地图和智能体状态的历史帧，还考虑了历史预测结果。具体来说，我们设计了一个全新的历史预测注意力模块，用于自动捕捉连续预测之间的动态关系。此外，该模块通过利用历史预测，扩大了注意力的范围，使其超越了当前可见的窗口。

作者提出的历史预测注意力，结合智能体注意力和模式注意力，被整合为三重因子注意力模块，构成了HPNet的核心架构。在Argoverse和INTERACTION数据集上的实验验证了HPNet的先进性能，证明其能够生成准确且稳定的未来轨迹预测。

▲图1｜之前方法和作者的方法之间的差异。之前的方法(上方)将轨迹预测视为静态任务，基于固定长度的历史帧预测未来轨迹。它们即使在相邻时间戳也独立地进行预测，尽管输入数据存在大量重叠。相反，HPNet(下方)将轨迹预测视为动态任务。它不仅利用历史帧，还使用历史预测嵌入来进行预测轨迹。©️【深蓝AI】编译

2. 方法

本文提出的HPNet如下图所示。本模型由三部分组成：时空上下文编码、三重因子注意力和多模态输出。首先，智能体和车道的时空特征与可学习的模式查询聚合，以生成可以初步预测未来轨迹的预测嵌入。然后，进行三重因子注意力处理，包括智能体注意力、历史预测注意力和模式注意力，以精炼预测嵌入。其中，智能体注意力模拟智能体之间的互动，模式注意力模拟不同模式（即不同预测路径）之间的互动，而历史预测注意力是我们提出的一个新模块，用于动态地模拟当前和历史预测之间的内在关联。最后，通过多层感知器（MLP）解码预测嵌入，以获得预测轨迹，这些轨迹再次输入整个流程，以提高未来预测的精确度。

▲图2｜HPNet的概览©️【深蓝AI】编译

■2.1 时空上下文编码模块

●智能体特征编码： 将每个智能体在每个时间戳的位置、运动状态、语义属性等信息，通过两个多层感知机（MLP）编码成智能体节点嵌入。同时利用相对坐标系提取运动方向等信息。

●道路特征编码： 将道路段的位置、长度、属性等信息，也通过两个多层感知机（MLP）编码成道路节点嵌入。此外，构建道路节点之间的连接关系，如相邻、前驱、后继等。

●时空注意力： 采用时间注意力和空间注意力两个并行模块。时间注意力用于聚合智能体的历史时序信息，而空间注意力用于建模智能体与道路之间的交互。将这两种注意力的结果相加，得到初始预测嵌入。

■2.2 三重因子注意力模块

●智能体注意力： 对每个时间戳和预测模式下的智能体节点，进行自注意力计算，以建模智能体间的相互影响。一方面，智能体注意力模型模拟了智能体在各自的时空上下文中的相互作用。另一方面，它也可以被视为不同智能体未来轨迹之间的相互作用，从而减少潜在的碰撞风险。

●历史预测注意力： 通过使用当前预测嵌入与之前一段时间的所有预测嵌入进行注意力计算，从而建模当前预测与历史预测之间的动态关系。这不仅提高了预测的稳定性和准确性，还扩大了注意力的范围。而且历史预测注意力模块不需要额外的训练时间和推理开销，仅通过注意力机制建模历史预测信息。因此能够在不增加复杂度的情况下提升模型性能。

●模式注意力： 在前两个注意力机制的基础上，对不同预测模式之间进行自注意力建模，进一步增强多模态输出的表达能力。它通过建模不同预测轨迹之间的相互影响，增强了模型对未来不确定性的理解能力，从而产生更加稳定可靠的预测结果。

■2.3 多模态输出模块

经过三重注意力机制优化的预测嵌入，将通过多层感知机（MLP）解码为多模态的未来轨迹。因为在自动驾驶等应用场景中，智能体未来的行为存在很大不确定性，通过输出多个可能的未来轨迹，而不是单一的预测，可以更好地反映这种未来不确定性。

3. 结果展示

作者在Argoverse和INTERACTION数据集上进行了实验，展示了其在动态轨迹预测方面的先进性能。

▲表1｜与最先进方法在Argoverse测试集上的性能比较，其中b-minFDE是官方排名指标。对于每个指标，最佳结果以粗体显示，次佳结果下划线。©️【深蓝AI】编译

▲表2｜与最先进方法在INTERACTION测试集上的性能比较。对于每个指标，最佳结果以粗体显示，次佳结果下划线。©️【深蓝AI】编译

▲表3｜三重因子注意力的消融实验。实验在Argoverse验证集上进行。©️【深蓝AI】编译

▲图3｜作者的HPNet和没有历史预测注意力的基线在Argoverse验证集上的预测准确性（b-minFDE↓）和稳定性（累计ADE↓）的比较。©️【深蓝AI】编译

▲图4｜(a) 基线(b) HPNet。在Argoverse验证集上的定性结果。车道、历史轨迹、ground truth轨迹和六个预测轨迹分别用灰色、绿色、红色和蓝色表示。©️【深蓝AI】编译

▲图5｜HPNet(下)和基线(上)的预测结果©️【深蓝AI】编译

4. 总结

作者提出了一种新颖的动态轨迹预测方法——HPNet。设计了一个历史预测注意力模块，用于模拟连续预测之间的动态关系。它采用历史预测嵌入来指导当前预测，使得预测轨迹更加准确和稳定。在Argoverse和INTERACTION数据集上的实验表明，作者提出的HPNet实现了最先进的性能，并且还证明了历史预测注意力模块可以有效提高模型的准确性和稳定性。

编译｜Deep蓝同学

审核｜Los

移步公众号【深蓝AI】，第一时间获取自动驾驶、人工智能与机器人行业最新最前沿论文和科技动态。