如何在交通领域构建基于图的深度学习架构(How to Build a Graph-Based Deep Learning Architecture in Traffic Domain:A Survey)_通过数据集构建图结构

How to Build a Graph-Based Deep Learning Architecture in Traffic Domain: A Survey

综述：如何在交通领域构建基于图的深度学习架构

因为这篇文献对于交通领域中的各种问题、方法做了一个比较清楚的综述，所以是一篇很有价值的文献，很适合刚进入这个方向的同学。

原文链接：https://ieeexplore.ieee.org/abstract/document/9310691

发表在: IEEE Transactions on Intelligent Transportation Systems ( Early Access )

发表时间应该是在2020年下半年，一共21页

摘要

近年来，针对交通领域的复杂挑战(如空间依赖、时间依赖)，各种深度学习体系结构被提出，并取得了令人满意的性能。这些架构由多种深度学习技术组成，以解决交通任务中的各种挑战。传统上，卷积神经网络(CNNs)通过将交通网络分解为网格来建模空间依赖性。然而，许多交通网络本质上是图结构的。为了充分利用这些空间信息，将交通网络用数学图的形式表示更为合适。近年来，各种新颖的深度学习技术被开发用于处理图数据，称为图神经网络(GNNs)。越来越多的研究将GNNs与其他深度学习技术相结合，构建了一种架构来应对复杂交通任务中的各种挑战，其中GNNs负责提取交通网络中的空间相关性。这些基于图形的架构已经达到了最先进的性能。为全面而清晰地介绍这种新趋势，本调查仔细研究了许多交通应用中的各种基于图形的深度学习架构。首先给出了基于图的交通问题的规划指导，并从各种交通数据集构造了交通图。然后我们分解这些基于图的架构来讨论它们的共享深度学习技术，明确每种技术在交通任务中的使用。此外，我们总结了一些常见的流量挑战，以及针对每个挑战的基于图的深度学习解决方案。最后，给出了这一快速发展领域的基准数据集、开放源代码以及未来的研究方向。

1.概述

随着城市化进程的加快，大量人口迅速向城市集聚。在许多城市，特别是发展中国家的城市，私人车辆数量的迅速增加和对公共交通服务需求的不断增长对其现有的交通系统造成了巨大的压力。交通拥堵频发、交通事故严重、通勤时间长等交通问题严重降低了城市的运营效率，降低了乘客的出行体验。为了应对这些挑战，许多城市都致力于开发智能交通系统(ITS)，以提供高效的交通管理、准确的交通资源配置和高质量的交通服务。这样的系统可以减少交通事故，缓解交通拥堵，保证公共交通安全。

构建智能交通系统，使城市智能化，主要有两个不可或缺的组成部分，即智能基础设施和先进的算法。一方面，随着交通基础设施投资的不断增加，道路网络上的环路探测器、探头、摄像头、出租车或公交车上的GPS、地铁和公交车上的智能卡、自动收费系统、网约车系统等交通设备和系统越来越多。这些基础设施全天候产生交通数据，这些数据是异构数据，包括数字数据(如GPS轨迹、交通测量)、图像/视频数据(如车辆图像)和文本数据(如事故报告)。这些交通数据量大、结构复杂，包含复杂的交通模式(如时空依赖性、高度非线性、复杂动力学)。迫切需要利用更智能和更强大的方法来处理这些交通数据。

另一方面，在交通领域，研究人员见证了算法从统计方法到机器学习模型，再到最近的深度学习方法的发展。在早期，流行的统计方法包括ARIMA及其变体[1]、[2]、VAR[3]、Kalman滤波[4]等，因为它们有坚实的和被广泛接受的数学基础。然而，这些方法的线性和平稳性假设被交通数据的高度非线性和动态性所违背，导致在实际应用中性能较差。传统的机器学习方法，如支持向量机[5]，k -最近邻[6]可以建模非线性和提取更复杂的交通数据关联。但是，在[7]大数据场景下，这些模型的体系结构较浅，人工特征选择和分离学习都不能令人满意。

深度学习在计算机视觉、自然语言处理等多个领域的突破，引起了交通运输业和研究界的关注。深度学习技术通过从原始流量数据提供端到端的学习，克服了手工制作的特性工程。深度学习技术在理论上近似任何复杂函数的强大能力，可以在各种交通任务中模拟更复杂的模式。近年来，随着计算能力(如GPU)和充足的交通数据[7]的提高，基于深度学习的技术在各种交通应用中得到了广泛的应用，并取得了最先进的性能。基于循环神经网络( Recurrent neural networks，RNNs)和卷积神经网络(Convolutional neural network, CNNs)的体系结构在提取时空相关性方面曾经非常流行。在这些架构中，RNN或其变体被用于提取交通数据[8]中的时间相关性。在基于网格的交通网络[9]中，cnn被用来捕获空间关联。然而，许多交通网络本质上是图结构的，例如道路网络[10]和地铁网络。在CNN中学习到的空间特征对于表示基于图的交通网络来说不是最优的。虽然之前的一些工作已经在[11]、[12]图视图中分析了交通问题，但这些传统的方法在处理大数据和处理交通网络中复杂的关联方面还不够强大。

近年来，许多研究者将深度学习方法扩展到图数据上，利用图结构信息[13]，并提出了一种新的神经网络——图神经网络[14]、[15]、[16]，旨在应用于图相关的应用。gnn在许多领域已经成为最先进的方法，包括计算机视觉[17]，自然语言处理[18]，生物学[19]，推荐系统[20]。由于许多交通数据是图结构的，许多现有的作品将GNNs合并到深度学习体系结构中，以捕获空间依赖性。最近的研究表明，这种基于GNNs的架构比基于cnns的架构具有更好的性能，因为大多数流量网络都是自然的图结构，而GNNs能够更准确地提取空间依赖关系。此外，有些任务本身就需要研究者基于图形进行预测，如不规则形状的交通网络预测。许多相关的作品已经在过去的几年中产生，更多的正在路上。在这种情况下，对交通领域基于图的深度学习架构进行全面的文献综述将是非常及时的，这正是我们的工作。

据我们所知，我们是第一个在交通领域提供基于图的深度学习工作的全面调查。注意，我们回顾的一些工作实际上是用类似的技术解决类似的交通问题。我们的工作可以帮助未来的研究人员避免重复的工作，专注于新的解决方案。更重要的是，这项调查的实际和明确的指导，使参与者能够将这些新兴的方法快速地应用到实际交通任务中。
主要贡献如下：

• 本文系统地概述了交通领域的问题、相关研究方向、挑战和技术，有助于相关研究人员定位和拓展研究领域。

• 我们总结了各种交通问题的一般公式，并为从几种典型的原始交通数据集构造图提供了具体的指导。这种全面的总结具有很强的实用性，可以促进基于图的方法在交通领域的应用。

• 我们提供了广泛应用于基于图的交通作品的典型深度学习技术的全面回顾。对其理论方面、优点、局限性及在具体交通任务中的变体进行阐述，希望能启发后来者开发出更多新颖的模型。

• 我们将讨论大多数基于图的流量任务所面临的一些挑战。对于每一个挑战，我们总结出多种基于深度学习的解决方案并进行必要的比较，为交通任务中的模型选择提供有用的建议。

• 我们在相关论文中收集基准数据集和开源代码，以方便在交通领域进行基线实验。最后，提出了今后的研究方向

2.交通领域的主要问题、研究方向、挑战

2.1 交通问题

交通拥堵： 从时间损失、空气污染和能源浪费等方面来看，交通拥堵是现代城市最重要和最紧迫的问题之一。通过提高交通效率[36]、[37]，缓解路网[38]、[39]、[40]上的交通拥堵，通过交通状态预测控制道路条件[41]、[42]，通过控制交通信号[43]、[44]、[43]、[44]、[43]、[44]、[43]、[44]、通过预测公共交通系统的乘客需求来优化客流。

出行需求： 出行需求预测是指从人群角度对出租车、自行车、地铁、公交车等交通服务的需求。随着优步、滴滴等网约车平台的出现，以及地铁、公交等公共交通系统的快速发展，出行需求预测对于交通部门、商业部门和个人来说变得越来越重要。对于相关部门来说，这有助于更好地分配资源，例如在高峰时间增加地铁频率，增加更多的公交车到服务热点。对于商业部门，它使他们能够更好地管理出租汽车[46]，拼车[47]，自行车共享服务[48]，[49]，并使他们的收入最大化。对于个人来说，它鼓励用户考虑各种交通方式，以减少通勤时间，改善旅行体验。

交通安全： 交通运输安全是公共安全不可分割的组成部分。交通事故不仅会对受害者、车辆和道路基础设施造成损害，而且会导致交通拥堵，降低道路网络的效率。因此，监控交通事故对于避免财产损失和挽救生命是必不可少的。许多研究者关注的方向有:检测交通事故[50]，从社交媒体数据预测交通事故[51]，预测交通事故伤害严重程度[52]，[53]，预测事故预防[54]，[55]，[56]。

交通监控： 如今，监控摄像头广泛部署在城市道路上，产生了大量的图像和视频[27]。这种发展加强了交通监控，包括交通执法、自动收费[57]和交通监控系统。交通监控的研究方向包括车牌检测[58]、车辆自动检测[59]、行人识别

自动驾驶： 近年来，自动驾驶汽车已成为交通领域的研究热点。许多任务都与视觉识别有关。自动驾驶的研究方向包括车道/车辆检测[61]、行人检测[62]、交通标志检测[63]和人/车轨迹预测[64]。

2.2 研究方向

基于图的深度学习在交通领域的研究表明，现有的研究主要集中在交通状态预测、出行需求预测、轨迹预测等方面。少数著作集中于车辆行为分类[65]、最优动态电子收费(DETC)方案[57]、路径可用性[66]、交通信号控制[67]。据我们所知，交通事故检测和车辆检测还没有基于图形视图的探索。

交通状态预测： 文献中的交通状态是指交通流量、交通速度、出行时间、交通密度等。交通流预测(TFP)[68]、[69]、交通速度预测(TSP)[70]、[71]、旅行时间预测(TTP)[72]、[73]、[74]是交通状态预测研究的热点分支。

出行需求预测： 出行需求预测的目的是估计未来需要4种交通服务的用户数量。旅游需求预测可分为两类，即区域级需求预测和出发地-目的地旅游需求预测。前一个旨在预测未来旅游需求在每一个地区的一个城市,例如,预测未来出租车请求在每个城市的区域[75],[76],或在地铁乘客需求预测警所一级的[77],[78],[79],[45]或预测城市的自行车在每个地区招聘需求[48],[49]。后者旨在预测从一个地区到另一个地区的旅游需求数量，比区域级需求预测提供更丰富的信息，是一个更有挑战性的问题，值得探索。到目前为止，针对出发地旅游需求预测的研究较少[80]、[81]、[82]，这是一个很有前途的研究方向

交通信号控制： 交通信号控制的目的是对交通灯进行适当的控制，以减少车辆长期停留在路口的时间[25]。交通信号控制[67]可以优化交通流，减少交通拥堵和车辆排放。

交通事故检测： 重大事故可能会对旅客造成致命伤害，并在道路网络上造成长时间的延误。因此，了解事故的主要原因以及事故对交通网络的影响对于一个现代交通管理系统[50]、[52]、[53]至关重要。

人/车轨迹预测： 轨迹预测[64]，[83]，[84]旨在预测动态的智能体在未来的位置。准确的人/车轨迹预测对于自动驾驶和交通监控等下游任务非常重要[85]。例如，准确的行人轨迹预测可以帮助控制器在危险环境中控制前方车辆[86]。它还可以使运输监控系统识别可疑活动[87]。

2.3 挑战和技术概述

时空依赖： 交通数据具有复杂的时空依赖性，会影响交通任务的预测。例如，预测一个区域的交通拥堵，该区域之前的交通状况及其周边区域的交通状况是预测[35]、[38]、[39]的重要因素。在车辆轨迹预测中，周围车辆的随机行为和自身轨迹的历史信息会影响预测性能[88]。当预测一个地区的叫车需求时，其之前的订单以及具有类似功能的其他地区的订单对于预测是至关重要的[89]。在预测交通信号时，考虑多个交叉口的几何特征，同时考虑周围以往的交通流[67]。

外部因素： 除了时空数据外，还有一些类型的数据在交通任务中发挥着重要作用，它们是外部因素，如假期、天气状况(如降雨、温度、空气质量)、极端事件[90]和交通事件(如事件时间、事件类型)[91]。外部因素对交通状况的影响可以在日常生活中观察到。暴雨可能会影响交通流量。大型音乐会或足球比赛会导致交通拥挤，影响周边交通状况。

为了应对上述挑战，人们提出了各种深度学习技术。本文主要研究交通领域的基于图的深度学习体系结构。在这些基于图的深度学习框架中，通常使用图神经网络(GNNs)对交通网络的空间依赖性进行建模。交通数据的时间依赖性一般采用循环神经网络(RNNs)和时间卷积网络(TCN)建模。rnn和多层感知器(MLPs)通常用于处理外部因素。序列到序列(Sequence to Sequence, Seq2Seq)模型通常用于多步流量预测。这些技术与其他技巧(如门控机制、注意机制)有机地结合在一起，提高了预测的准确性。

3. 问题问题公式化和图的构造

在我们所研究的基于图的深度学习交通文献中，大部分任务(超过80%)属于5个时空预测问题，特别是交通状态预测和出行需求预测。在本节中，我们首先列出常用的符号。在此基础上，总结了交通领域基于图的时空预测的一般公式。我们提供了从各种交通数据集构造图的细节。我们还讨论了邻接矩阵的多种定义，它代表了基于图的交通网络的拓扑结构，是基于图的解决方案的关键元素。

因为符号不好写就不往上贴了

• 符号

• 基于图的时空预测

• 从交通数据集构建图

  交通数据集又有以下几个分类

  • 传感器数据： 交通测量数据(例如交通速度)通常由北京[92]、加利福尼亚[71]、洛杉矶[70]、纽约[99]、费城[106]、西雅图[94]、厦门[98]和华盛顿[106]等大城市道路网络上的传感器(例如环路探测器、探测器)在很短的时间间隔内收集。传感器数据集是现有工作中最流行的数据集，特别是来自加利福尼亚州的PEMS数据集。一般来说，道路网络包含传感器、道路段等交通对象。
  • GPS数据： GPS轨迹数据集通常由一个城市在一段时间内的出租车数量生成，例如北京[68]、成都[68]、深圳[93]、科隆[95]和芝加哥[100]。每辆出租车每天都会提供大量的GPS记录，包括时间、位置和速度信息。每一个GPS记录都被安装在城市道路地图上最近的道路上。所有道路通过道路交叉口被划分为多个道路段。
  • 网约车数据： 这些数据集记录了北京[89]、[101]、成都[101]、上海[89]、曼哈顿、纽约[99]等城市一段时间内的汽车/出租车/自行车需求订单。将拥有OpenStreetMap的目标城市划分为大小相等的网格区域(如图5所示)，每个区域被定义为图中的一个节点。每个节点的特征是在给定的时间间隔内对应区域内的订单数。
  • 交易数据： 这些数据集是通过部署在地铁、公交等公共交通网络中的自动收费系统(AFC)收集的。[77]，[78]，[111]构建了地铁图。将地铁系统中的每个站点视为一个节点。一个车站的特征通常包括在给定的时间间隔内，从该站出发的乘客人数和到达该站的乘客人数。这些数据是根据地铁afc系统收集的交易记录得出的。

• 邻接矩阵结构

  • 固定矩阵： 许多研究假定节点间的相关性是固定的，不会随时间而改变。因此，设计了一个固定的矩阵，并在整个实验过程中保持不变。研究人员设计了各种固定的邻接矩阵来捕捉交通图中节点之间的各种预定义关联，如函数相似度和交通连通度[89]、语义连接[101]、时间相似度[71]。这里，我们介绍几种常用的邻接矩阵。
    • 连接矩阵：度量节点之间的连通性。矩阵中的入口值定义为1 (有连接)或0 (无连接)。
    • 距离矩阵：根据几何距离度量节点之间的紧密程度。
    • 功能相似矩阵：衡量两个节点在功能方面是否相似(例如，它们都是业务区域)。对应的功能相似性图如图5所示。它假设共享相似功能的区域可能具有相似的需求模式[89]。边是在具有相似周边POIs(兴趣点)的区域之间构造的。
    • 交通连接矩阵：衡量地理位置遥远但可通过高速公路、高速公路或地铁方便到达的地区之间的相关性。相应的交通连通图如图5。
  • 动态矩阵： 一些研究认为，由于先验知识的缺陷或数据的不完全，预先定义的矩阵不一定反映节点之间的真实依赖关系[72]。提出了一种新的自适应矩阵，并通过数据进行学习。[102]、[72]、[99]的实验证明，自适应矩阵可以更精确地捕捉某些交通任务中隐藏的空间依赖性。
  • 进化矩阵： 在某些情况下，随着时间的推移，图的结构可能会发生变化，因为一些边可能会变得不可用，比如道路拥堵或封闭，在缓解拥堵后又会重新可用。演化的拓扑结构[66] [114]被纳入模型中，以捕捉这种动态的空间变化。

4. 在交通领域用深度学习技术

图神经网络： 谱图卷积(SGC)、扩散图卷积(DGC)。

许多交通作品，如地铁网络、道路网络，都是自然的图结构(见第四节)。与以往将交通网络建模为网格的作品[131]、[132]相比，将交通网络建模为图的作品能够充分利用空间信息。目前，许多研究都是直接在交通图上进行卷积运算，以捕获复杂的交通数据空间依赖性。其中大部分采用谱图卷积，也有部分采用扩散图卷积[112]、[108]、[100]、[102]、[96]、[118]。还有一些基于图的深度学习技术，如graph attention network (GAT)[119]，[107]，[98]，[104]，张量分解和在图上的补全[78]等，但相关工作较少，这可能是未来的研究方向。SGC和DGC的主要区别在于它们的矩阵代表了对交通网络空间相关性的不同假设。SGC中的邻接矩阵推断出图中的中心节点与其邻接节点之间的相关性强于其他距离节点[89]，[70]。DGC中的状态转移矩阵表明，空间依赖关系是随机的，取决于重启概率，是动态的，而不是固定的。交通流与交通图上的扩散过程相关，以模拟其动态空间关联。此外，DGC中的双向扩散使模型更灵活地捕捉上下游流量的影响[108]。总之，DGC比SGC更复杂。DGC可以用于对称或非对称流量网络图，而SGC只能用于处理对称流量图。

循环神经网络： RNN,、LSTM、 GRU

rnn在处理时间序列数据方面表现出了令人印象深刻的能力。由于交通数据具有明显的时间依赖性，rnn通常用于捕获交通数据中的时间相关性。在我们调查的研究中，只有Geng等人[89]使用RNN来捕获交通数据中的时间依赖性，超过一半的人采用了GRU，一些人采用了LSTM。这说明RNN能够挺过严重的梯度消失或梯度爆炸，而LSTM和GRU能够很好地处理这一情况，GRU能够减少训练时间。此外，有许多技巧可以增强rns的能力来模拟交通领域的复杂时间动态，如注意机制、门控机制和剩余机制。

时间卷积网络： TCN

尽管基于rnn的模型在时间序列分析中得到广泛应用，但用于流量预测的rnn仍然存在迭代耗时、门控机制复杂、对动态变化响应缓慢等问题[92]。相反，1D-CNN具有训练速度快，结构简单，不受前面步骤的限制等优点[140]。然而，由于对长序列缺乏内存，1D-CNN在实践中并不像RNNs那样普遍[141]。2016年，提出了一种融合因果卷积和扩张卷积的卷积运算[142]，该运算在文本到语音任务中优于RNNs。因果卷积的预测依赖于之前的因素，而不是未来的因素。扩张卷积通过用零扩张原始滤波器的接受场来扩张[143]。Bai等人[144]简化了序列建模问题的因果扩张卷积[142]，并将其更名为时间卷积网络(TCN)。最近，越来越多的作品使用TCN来处理流量数据[92]，[70]，[102]，[111]。

很多交通工作都涉及到序列建模，特别是交通的时空预测任务。与RNNs相比，TCN的非递归计算方式可以缓解梯度爆炸问题，便于通过并行计算进行训练。因此，一些工作采用TCN来捕获交通数据中的时间依赖性。

序列到序列： Seq2Seq

序列到序列(Sequence to Sequence, Seq2Seq)模型于2014年提出[145]，被广泛应用于序列预测，如机器翻译[146]。Seq2Seq体系结构由两个组件组成，即一个编码器负责将输入序列X转换为一个固定的潜在向量C，一个解码器负责将C转换为输出序列Y(如图9所示)。注意X和Y可以有不同的长度。

由于Seq2Seq可以接受一个输入序列，并生成不同长度的输出序列，因此它被应用于多很交通任务的多步预测。编码器将历史交通数据编码成一个潜在的空间向量。然后，将潜在向量输入解码器，以生成未来的交通状况。注意机制通常被纳入Seq2Seq中，以模拟以往不同时段的交通观测对未来预测的不同影响[100]、[98]、[110]、[76]。在许多交通文献中，编码器和解码器负责捕捉时空相关性。例如，Li等[108]提出了DCGRU作为编码器和解码器，它可以同时捕捉时空动态。编译码器的设计通常是相关工作的核心贡献和新颖之处。需要注意的是，编码器和解码器不一定是相同的，在之前的基于图的流量工作中，我们对Seq2Seq结构做了总结(如表三所示)。

生成对抗网络： GAN

生成对抗网络(Generative Adversarial Network, GAN)[149]是一种强大的深度生成模型，旨在生成尽可能与真实样本难以区分的人工样本。GAN受到博弈论的启发，由两个参与者组成，一个是生成神经网络称为生成器G，另一个是对抗网络称为鉴别器D(如图10所示)。鉴别器D试图判断输入的样本是属于生成的数据还是真实的数据，而生成器G试图欺骗鉴别器D，使样本尽可能真实。交替训练两个相互对抗的优化过程，增强了D和G的性能。当G生产的假样本非常接近地面真相，D无法再区分它们时，认为发电机G了解了真实数据的真实分布，模型收敛。此时，我们可以认为这个博弈达到纳什均衡[150]。

:当GAN应用于交通预测任务[153]、[154]时，通常使用生成器 G根据历史观测结果生成未来的交通观测结果。然后将生成的数据和未来的真实数据输入鉴别器D进行训练。生成器G经过训练后，可以通过大量的历史数据了解到真实交通流数据的分布情况，可以用来预测未来的交通状态[100]。GAN还可以解决交通数据的稀疏性问题，因为它处理数据生成的有效性[95]。此外，GAN的生成器或鉴别器可以是任何模型，如rns、Seq2Seq，这取决于特定的流量任务。

5. 挑战

由于交通数据具有复杂的空间依赖性和时间依赖性，交通任务具有很大的挑战性。此外，诸如假期或活动等外部因素也会影响交通状况。在本节中，我们将介绍流量领域的四个常见挑战。我们仔细研究每一个挑战及其相应的解决方案，进行必要的比较。

5.1空间依赖性

如前一节所述，一些文献[131]、[132]、[155]通过将整个交通网络分解成网格，然后利用cnn对网格数据进行处理来提取空间特征。然而，基于网格的假设实际上违背了交通网络的本质拓扑结构。许多流量网络在物理上以图的形式组织，图的拓扑信息显然对流量预测很有价值(如图11所示)。根据我们的研究，图神经网络比网格方法更能模拟基于图的交通网络中的空间依赖关系。此外，交通网络的复杂空间依赖关系可分为空间局部性、多重关系和全球连通性三种空间依赖关系。利用不同类型的gnn结合其他深度学习技术求解不同类型的空间属性。

如前一节所述，一些文献[131]、[132]、[155]通过将整个交通网络分解成网格，然后利用cnn对网格数据进行处理来提取空间特征。然而，基于网格的假设实际上违背了交通网络的本质拓扑结构。许多流量网络在物理上以图的形式组织，图的拓扑信息显然对流量预测很有价值(如图11所示)。根据我们的研究，图神经网络比网格方法更能模拟基于图的交通网络中的空间依赖关系。此外，交通网络的复杂空间依赖关系可分为空间局部性、多重关系和全球连通性三种空间依赖关系。利用不同类型的gnn结合其他深度学习技术求解不同类型的空间属性。

空间局部性： 空间局部性是指相邻区域之间的高度相关性。例如，地铁中一个车站的客流明显受到其连接的车站的影响。K-局域谱图卷积网络(SGCN)广泛应用于将0 ~ k-1跳邻居的信息聚合到中心区域。此外，一些著作对空间局部性做出了不同的假设，并运用了一些新颖的技巧。表示流量拓扑的邻接矩阵通常是预先定义的，而有些作品[69]，[42]认为相邻位置之间是动态相关的。他们将注意机制融入SGCN中，自适应地捕捉周围区域之间的动态关联。SGCN要求所有区域具有相同的本地统计量，其卷积核是位置无关的。然而，Zhang等[68]阐明了交通数据的局部统计量会随着区域的变化而变化，并为不同的区域自动设计了与位置相关的核。

多重关系： 局部性关注的是空间邻近性，目标区域可以通过各种非欧几里得关系与遥远的区域相关联，如功能相似性、交通连接性(如图5所示)、语义邻居等。功能相似性是指远方区域在功能上与目标区域相似，可以用周围的POIs来表征[89]，[70]。交通连接性表明，那些地理位置遥远但可方便到达的区域可以相互关联[89]。可到达的道路有高速公路、高速公路、地铁。语义邻居被用来建模起源和目的地之间的相关性[101]。这种相关性是通过它们之间的客流量来衡量的。为了显式地提取这些相关信息，对使用多个图的不同类型的相关进行编码[89]，并利用多图卷积。

全局相关性： 空间邻近性和多重关系都只关注网络的局部，而忽略了网络的整体结构。全局相关性是指不同区域的交通状况在整个网络尺度上相互影响。利用交通网络的全局结构信息有多种策略。一种常用的获取全局相关性的方法是将交通网络中的变化交通条件建模为网络尺度上发生的扩散过程，该模型通过幂级数的转移矩阵来表示。然后，采用扩散图卷积网络(DGCN)提取全局的空间相关性[112]、[108]、[100]、[102]、[96]、[118]。设计了一种新的空间图池化层和路径增长算法，以生成更粗的图[105]。该池化层在SGC层之前进行叠加，得到多粒度的图卷积，可以提取不同范围的空间特征。提出了一个具有自适应邻接矩阵的SGC层[102]来捕获数据中隐藏的全局空间依赖性。这个自适应邻接矩阵是通过端到端监督训练从数据学习。

5.2 时间依赖性

时间依赖性是指在某一时刻对交通状况的预测通常与各种历史观测相关联[92]。如前面所述，许多著作通过基于RNN的方法提取时间依赖性。然而，基于RNNs的方法在捕获长序列时，会遇到耗时的迭代和梯度消失/爆炸问题。与基于神经网络的方法相比，基于神经网络的方法具有结构简单、并行计算和梯度稳定等优点。因此，一些研究[92]、[70]采用基于TCN的方法来捕获交通数据中的时间模式。此外，TCN能够通过堆叠多个层来处理不同的时间级别。例如，Fang等[111]和Wu等[102]将多个TCN层堆叠起来，底层提取短期的相邻依赖关系，上层学习长期的时间模式。

多时间尺度： 一些著作从多时间尺度的角度提取了时间相关性[69]，[116]。节奏依赖被分解为近期依赖、每日依赖和每周依赖[69]。近期依赖性是指未来的交通状况受到近期交通状况的影响。例如，上午9点的交通拥堵不可避免地影响了接下来几个小时的交通流量。日依赖性描述交通数据中由于人的日常规律而重复的日模式，如早高峰和晚高峰。周依赖度考虑同一周属性造成的影响。例如，所有星期一在短期内都有相似的交通模式。Guo等[69]设置了三个具有相同结构的平行组件，分别对这三个时间属性进行建模。

不同的权重： 一些作品认为，历史和未来观测之间的相关性在不同的以前的时间片段是不同的。Guo等[69]采用时间注意机制，对历史数据自适应地赋予不同的重要性。

5.3 时空依赖

许多研究以连续的方式分别捕捉时空相关性[110]、[100]、[94]、[65]、[91]、[120]、[88]，而时空相关性在交通数据中紧密交织在一起。郭等[69]认为，不同时间不同地点的历史观测对未来中部地区的影响是不同的。举一个明显的例子，由于交通拥堵的逐渐形成和分散，一条关键道路的交通事故会在不同的时间导致相关道路的严重中断。单独建模的局限性是忽略了空间特征和时间特征之间潜在的相互作用，可能会影响预测的性能。为了克服这种局限性，一种流行的方法是将图卷积运算(例如SGC, DGC)与RNN结合起来，共同捕获时空相关性[66]，[112]，[108]，[106]，[96]，[118]，[42]，[105]，[77]。

5.4 额外因素

节假日、时间属性(如小时、日、周、月、季、年)[70]、[116]、天气(如降雨、温度、空气质量)[116]、特殊事件、POIs[89]和交通事件(如事件时间、事件类型)[91]等因素都会在一定程度上影响交通预测。我们称之为外部因素或上下文因素。此外，Zhang等[110]将速度的历史统计信息(如交通速度的平均值或标准差)作为外部因素。一些因素，如日属性，假日和天气条件被编码为离散值，它们通常被转换成二进制向量通过一个热编码。温度、风速等其他因素被编码为连续值，通常采用最小最大归一化或Z-score归一化。在我们所调查的文献中，有两种处理外部因素的方法。第一种方法是将外部因素与其他特征联系起来，并将其引入模型[112]、[70]。第二种方法是设计一个单独负责处理外部因素的外部组件。外部构件通常包含两个完全连通的层，第一个是提取重要特征，第二个是将低维特征映射到高维特征[70]，[91]，[116]，[48]。Bai等[113]采用多LSTM层提取外部因素的表示。将外部元件的输出与其他元件融合，生成最终结果。

6. 公共数据集和开放源代码

一些公开数据集

Datasets - Links - References
NYC taxi https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page [99], [116], [91], [103]
NYC bike https://www.citibikenyc.com/system-data [116], [48], [76], [113]
San Francisco taxi https://crawdad.org/ crawdad/epfl/mobility/20090224/ [91]
Chicago bike https://www.divvybikes.com/system-data [48]
BikeDC (Bike Washington) https://www.capitalbikeshare.com/system-data [116]
California -PEMS http://pems.dot.ca.gov/ [92], [70], [69], [99], [112], [71], [98], [102], [106], [66], [96]

一些开源代码

Reference - Model - Year Framework - Github
[108] DCRNN 2018 Tensorflow https://github.com/liyaguang/DCRNN
[97] GCNN 2018 Keras https://github.com/RingBDStack/GCNN-In-Traffic
[93] T-GCN 2019 Tensorflow https://github.com/lehaifeng/T-GCN
[98] GMAN 2019 Tensorflow https://github.com/zhengchuanpan/GMAN
[102] Graph-WaveNet 2019 Torch https://github.com/nnzhan/Graph-WaveNet

7. 未来方向

应用相关方向：

利用基于图的深度学习架构来处理交通状态预测和交通需求预测的作品很多，已经达到了最先进的性能。然而，在其他研究方向中，从图的角度分析交通数据的研究较少，如车辆行为分类[65]、最优动态电子收费(DETC)方案[57]、路径可用性[66]、交通信号控制[67]。在交通事件检测、车辆检测、出发地出行需求预测、城市间迁移学习等方面，目前采用基于图的深度学习技术的作品较少。因此，未来的参与者可以从图形的角度来探索这些方向，并从现有的作品中学习成功的经验。

技术相关方向：

一方面，现有的工作大多采用谱图卷积网络(SGCN)和扩散图卷积网络(DGCN)这两种常用的GNN来分析交通任务。在交通领域[122]、[98]、[104]、[107]、[119]，利用图关注网络(GATs)的研究屈指可数。其他类型的gnn，如图自动编码器(GAEs)[156]，[157]，循环图神经网络(RecGNNs)[158]在其他领域都取得了最先进的性能，但目前在交通领域的研究很少。因此，有必要将GNNs的这些分支扩展到流量领域。另一方面，最近的研究将GNNs与其他深度学习技术如RNNs、TCN、Seq2Seq、GAN相结合，解决了流量任务中的挑战。然而，很少有研究将迁移学习、继续学习和强化学习与gnn结合在一起，这可能是一个很有前途的研究方向。此外，基于图的流量工作大多是回归任务，分类任务较少[66]，[65]。研究者可以从图的角度来探讨分类流量任务。

额外因素相关工作：

最后，许多现有的交通模型没有考虑到外部因素，因为外部因素很难收集，而且格式各异。外部因素的数据稀缺性仍然是研究界面临的一个挑战。此外，处理外部因素的技术相当幼稚，例如一个简单的全连接层。应该有更多处理外部因素的方法。

8. 总结

在本调查中，我们对最近的交通作品中各种基于图的深度学习架构进行了全面的回顾。更具体地说，我们总结了一种基于图的交通问题的一般公式，并从各种交通数据集的图构造。进一步，我们分解所有研究的体系结构并分析它们共有的模块，包括图神经网络(GNNs)、循环神经网络(RNNs)、时间卷积网络(TCN)、序列到序列(Seq2Seq)模型和生成对抗网络(GAN)。我们提供了它们在交通任务中的变体的详细描述，希望为即将到来的研究人员提供关于如何为他们自己的交通任务设计新技术的见解。此外，我们还总结了许多交通场景的共同挑战，如空间依赖、时间依赖、外部因素。更重要的是，我们为每个挑战提供了多种基于深度学习的解决方案。此外，我们提供了一些公共数据集和相关工作代码的超链接，以促进未来的研究。最后，我们对该领域的参与者提出了一些未来的发展方向。