TRB 2024论文分享：融合Transformer和自监督学习的长时交通流预测模型_transformer论文2024

TRB（Transportation Research Board，美国交通研究委员会，简称TRB）会议是交通研究领域知名度最高学术会议之一，近年来的参会人数已经超过了2万名，是参与人数和国家最多的学术盛会。TRB会议几乎涵盖了交通领域的所有主题，主要包括公路、铁路、水运、航空、管道等诸多领域，接收来自交通系统、交通工程、交通政策、交通管理、交通实际操作、政府研究、学术研究和工业界最新的研究成果。TRB会议的论文反映了交通领域的研究前沿，具有广泛的参考价值。

本文主要介绍我们在长时交通流预测方面的最新研究成果《Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction》，论文的第一作者为朱旺。交通流预测是智能交通系统的重要组成部分，一直是交通领域的研究热点。相较于短时预测，由于误差的积累和数据的时延性，长时交通流预测更具挑战性。此外，以往的模型只是对时空相关性进行建模，而现实生活中不同功能区域的交通模式往往不同，时空异质性在一定程度上也会影响预测效果。基于以上问题，本文设计了一个融合Transformer和自监督学习的长时交通流预测模型。实验结果表明，在自监督任务的辅助下，模型可以更好地捕获交通数据的长时时空特征，从而得到更准确的预测效果。

1. 研究背景与解决的关键问题

交通流预测是智能交通系统的重要组成部分，实时、准确的预测对优化交通流、管理拥堵以及提高整体交通效率至关重要。交通数据是典型的时空数据，交通流预测由于其动态的时间相关性和复杂的空间依赖性，一直是一项具有挑战性的任务。相较于短时预测，由于数据时延性、模型长时记忆困难和预测误差积累等问题，长时交通流预测更具挑战性。本文针对以下挑战进行合理建模：

(1) 模型长时记忆困难

以往的研究中，大多数预测模型都是基于RNN及其变体，如LSTM和GRU等。这类模型在长时记忆问题上有一定的局限性。我们通过多头注意力机制考虑上下文信息，从而更有效地处理长时依赖关系。

(2) 特征捕获不全面问题

不同功能区域的交通模式往往不同，时空异质性在很大程度上影响了模型的预测效果。我们设计了两个自监督学习任务分别对时间异质性和空间异质性进行建模，从而捕获更全面的时空特征，进而提升模型的预测能力。

(3) 数据不全面问题

交通流预测问题本质上是从观测到的数据中学习时空特征，从而对未来一段时间内的数据进行预测。因此数据对预测的影响十分重要。我们设计了一个自适应图增强模块，对交通数据进行自适应增强。

2. 方法

本文提出的基于Transformer和自监督学习的混合模型的整体框架如图1所示。该模型主要由3个模块组成，分别为自适应图增强模块、时空嵌入模块、自监督学习模块。为了增强交通数据的表征，我们引入了一个自适应图增强模块，分别从序列级和拓扑结构级进行数据增强，从而增强模型的鲁棒性。考虑到一般深度学习模型长时记忆困难的问题，我们设计了一个基于Transformer和图卷积的时空嵌入模块，分别对交通数据的时间特征和空间特征进行建模。在时间特征维度，Transformer通过多头注意力机制关注全局信息，从而有效地进行长序列数据的特征捕获。在空间特征维度，我们通过切比雪夫多项式图卷积进行建模，在减少复杂度的同时，可以有效聚合节点信息。此外，考虑到时空异质性对预测的影响，我们设计了两个自监督学习任务分别对时空异质性进行建模，从而提高模型的泛化能力和预测精度。

图1 T-ST-SSL模型的整体框架

3. 实验结果

本文的实验在PeMS04和PeMS08两个公开数据集上进行，通过跨度为一小时的交通速度数据，分别对未来30分钟、45分钟、60分钟的交通速度进行预测。通过MAE、MAPE、RMSE、SMAPE四个评价指标对预测的结果进行全面地评估。相比于7种基线模型，我们提出的模型在长时预测上具有优越的表现。通过对预测结果进行可视化，可以直观地看出，我们的模型拥有更准确的预测结果，同时对数据的拐点更敏感，更能捕获数据的变化。此外，为了验证模型各个模块的有效性，我们进行了消融实验。实验结果表明，我们基于Transformer和图卷积设计的时空嵌入模块可以有效捕获时空特征，在两个自监督学习任务和自适应图增强模块的协同作用下，模型可以更好地进行长时预测。

4. 结论

本文提出了一种融合Transformer和时空异质性自监督学习的模型，有效地解决了长时记忆困难、数据不全面、特征捕获不全面的问题。该模型通过Transformer的自注意机制和图卷积分别对动态的时间相关性和复杂的空间依赖性进行建模，从而捕获长时时空依赖性。为了更好地挖掘交通数据中的时空特征，引入了自适应数据增强方法，对交通信息进行序列级和图结构级的增强。此外，我们设计了两个自监督学习任务对时空异质性进行建模，进一步提高了模型的性能。在两个真实数据集上进行的大量长时交通流预测实验表明，我们的模型展现出了优越的性能。