时空序列预测|| DSTAGNN：用于交通流量预测的动态时空感知图神经网络GNN

ICML  2022 | DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for Traffic Flow Forecasting

“

文章信息

来源：Proceedings of the 39th International Conference on Machine Learning（ICML） 2022
标题：DSTAGNN: Dynamic Spatial-Temporal Aware Graph Neural Network for Traffic Flow Forecasting
作者：Shiyong Lan, Yitong Ma, Weikang Huang, Wenwu Wang, Hongyu Yang, Pyang Li
链接：https://proceedings.mlr.press/v162/lan22a.html

”

内容简介

交通流预测作为时间序列分析中的一个典型问题，是机器学习最重要的应用领域之一。然而，由于道路网络中存在复杂的动态时空相关性，实现高度准确的交通流预测是一项具有挑战性的任务。本文提出了一种新的动态时空感知图神经网络(DSTAGNN)来建模路网中复杂的时空相互作用。首先，考虑到历史数据中蕴含着路网空间结构的内在动态信息，作者提出了一种基于数据驱动策略的动态时空感知图来代替传统图卷积中通常使用的预定义静态图。其次，本文设计了一种新的图神经网络结构，它不仅可以用改进的多头注意机制来表示节点间的动态空间相关性，而且可以通过多尺度门控卷积从多感受野特征中获取大范围的动态时间相关性。在真实数据集上的大量实验表明，本文提出的方法明显优于现有的方法。

随着道路网中车辆数量的不断增加，交通管理系统面临的压力也越来越大。智能交通系统的发展是实现高效交通管理的迫切需要。交通流量预测是智能交通管理系统实现的必要前提，在智能交通系统中起着至关重要的作用。每个记录点（也称为路网中的节点）的交通呈现出高度动态和复杂的时空依赖性。一方面，道路网络中的智能体受到各种随机因素（如潜在的随机交通事故、临时封路维修等）的影响，从而影响相邻节点之间的到达时间间隔。另一方面，相似的城市功能区可能导致道路网络中节点之间的交通数据存在相关性，而无论节点之间的距离如何。例如，在日常高峰时段，办公集群区域往往同时出现拥堵。无花果。下图说明了交通流内部的动态时空相关性。此外，道路交通网络中复杂的时空交互作用会显著降低交通预测算法的性能。

此外，无论是短期还是长期时间尺度，时间序列交通数据都存在动态相似模式和随机不规则模式之间的复杂交织。在宏观层面上，呈现出类似的数据模式，如高峰时段的同态宽动态拥堵，工作日和周末的稳定交通模式偏差。在微观层面，交通数据呈现出动态复杂的波动，其中由于大量独特的交通成分（如不同的驾驶习惯、车辆机械特性、自适应交通控制策略）之间的随机复杂交互作用，使得任意给定时刻的交通状态显著不同。然而，现有的大多数方法，如（Oord et al.，2016；Bai et al.，2018；Zhou et al.，201)缺乏对短期和长期时间相关性的同时使用的关注，因此在捕捉路网内动态的时间依赖性方面存在局限性。针对上述问题，本文提出了一种新的神经网络框架--动态时空感知图神经网络(DSTAGNN)1用于交通流预测，它可以捕捉道路网络的短程和长程时空相关性。

本文的主要贡献可概括如下

• 本文构造了一种新的图，直接从节点的历史交通流数据中挖掘节点之间的空间关联的动态属性，而不使用预定义的静态邻接矩阵。本文将这种动态关联属性称为时空感知距离(STAD)。

• 设计了一种基于GCN多阶Chebyshev多项式的时空注意模块，利用GCN中多尺度邻域内的动态空间相关性。具体而言，通过改进的自注意自适应地调整切比雪夫多项式各阶输入的空间权重，同时利用多头自注意的广泛的时间依赖性。

• 设计了一个改进的门控卷积模块，通过将多感受野的时间特征与多尺度门控卷积相融合，进一步增强了模型对路网内动态时间依赖性的感知能力。

• 在实际道路交通数据集上进行的大量实验表明，与包括现有算法在内的几个基线相比，本文提出的算法的性能有所改善。

方法介绍

网络体系结构

所提出的DSTAGNN如下图所示：

由层叠的时空(ST)块和预测层组成。每个st块的输出被级联，然后以类似于残差连接的方式发送到预测层。

时空感知图构造

在路网中，节点之间的连通性不能完全反映其空间依赖性。不准确的空间相关性会降低交通流预测的性能。本节讨论如何提取更精确的空间依赖项。本文认为，道路网络中节点间的空间依赖主要来自两种情况，而传统的方法不能用简单的静态邻接矩阵来描述。其一是由于交通流在相邻连接节点之间传播的动态效应。另一种是节点之间城市功能相似造成的，即使这些节点相距很远。

利用道路网络中每天和每个节点的交通流数据，本文可以通过捕捉每个节点概率分布之间的相关属性来表示节点之间的动态空间依赖性，例如使用Wasserstein距离(Panaretos&Zemel，2019)，该距离度量了将一个概率分布重新配置到另一个概率分布所花费的最小努力。

因此，本文提出了一种新的数据驱动策略，直接从历史流量数据中提取节点间的空间关联程度。本文将这种空间关联程度命名为时空感知距离(STAD)，并将其结构称为时空感知图(STAG)。

以天个记录点的车流量为例，其中为每天记录次数（如果每5分钟记录一次，则=288)。对于每个记录点，将一天的交通数据作为向量处理，然后将一组多天的交通数据表示为向量序列。例如，在记录点处得到的向量序列记为.本文通过车流量向量的模长提取每个记录点的日交通量信息：

时空注意阻滞

时空感知距离(STAD)可以为节点间的依赖关系提供更准确的估计，但这些依赖关系的动态特性需要进一步细化以适应实时数据的变化。为此，本文设计了一个新的时空注意力模块，通过将时间注意力和空间注意力顺序结合起来，进一步增强动态时空依赖关系的表示。

多头自关注提供了一种并行机制，可以有效地关注时间序列数据中的长程相关性。本文利用该机制来捕获节点之间的动态时间依赖关系。TA模块对时间序列数据进行自适应编码，得到具有全局动态时间依赖性的特征表示。在此，本文设计了一种改进的自关注机制来从TA模块的输出中计算空间依赖关系，其中从输入嵌入向量的两个分支和密钥中计算权系数。然而，与传统变压器不同的是，所得到的权重系数不用于对输入嵌入向量的值分支进行加权，而是用于调整，如上图所示.

时空卷积块

对于交通路网，许多研究关注路网的连通性和全局性，利用预定义的图结构进行图卷积，通过聚合其相邻节点的信息获得节点特征（Yu et al.，2017；Guo et al.，2019；Song et al.，2020）。为了充分利用交通网络的拓扑特性，本文保留了上述思想，使用基于切比雪夫多项式逼近的图卷积(Simonovsky&Komodakis，2017)来学习结构感知节点特征。然而，与现有的方法不同，本文使用本文的时空感知图(STAG)，而不是预先定义的图结构。另外，通过动态调整切比雪夫多项式的各个项，在空间维度上提取交通网络上更有意义、范围更广的特征。

实验分析

下表显示了DSTAGNN和十种基线方法的结果：

可以看到，本文的DSTAGNN在四个数据集上所有指标都取得了最好的成绩。所提出的时空感知距离构成的图结构可以帮助模型捕捉节点间的空间依赖关系，这表明本文的模型可以在没有空间先验信息的情况下应用。

另外，本文提出的时空注意机制能够更好地捕捉数据的动态变化，预测性能显著提高。本文在测试数据的快照上分别绘制5分钟、60分钟的预测值和地面真相，如下图所示：

从蓝点虚线框标记的部分可以看出，DSTAGNN对峰值流量动态变化的响应比基线方法更快、更准确。在数据丢失的情况下，由于本文对时空相关性的建模更加准确，所提出的DSTAGNN恢复得更快，并保持了更高的精度，如(b)中用棕色虚线框标记的部分所示。

总结

本文提出了一种新的交通流预测深度学习框架DSTAGNN。DSTAGNN利用了从历史交通数据中提取的时空感知距离(STAD)，而不依赖于预定义的静态邻接矩阵。该方法能有效地增强路网节点间内部动态关联属性的表示。另外，对由时空感知图生成的STAG进行图卷积，可以减少对路网先验信息的依赖。结合本文的时空注意模块和多感受野门控卷积，本文的DSTAGNN进一步增强了时间序列数据的动态时空依赖性意识。因此，本文的DSTAGNN在四个公共数据集上实现了新的最先进的性能，与最近的几种基线方法相比。

推荐阅读：
 
我的2022届互联网校招分享
 
我的2021总结
 
浅谈算法岗和开发岗的区别
 
互联网校招研发薪资汇总
2022届互联网求职现状，金9银10快变成铜9铁10！！
 
公众号：AI蜗牛车
 
保持谦逊、保持自律、保持进步
 
发送【蜗牛】获取一份《手把手AI项目》（AI蜗牛车著）
发送【1222】获取一份不错的leetcode刷题笔记
 
发送【AI四大名著】获取四本经典AI电子书