【论】A deep-learning model for urban traffic flow prediction with traffic events mined from twitter_from twitter to traffic predictor: next-day mornin

A deep-learning model for urban traffic flow prediction with traffic events mined from twitter

原文，见这里
作者：Aniekan Essien & Ilias Petrounias & Pedro Sampaio & Sandra Sampaio
期刊：
关键字：交通流量预测。LSTM堆叠式自动编码器。深度学习。微博信息预测。智能交通系统
不权威评价：本文的看点是数据有3部分：traffic+weather+twitter.结构式是拓展的深度双向LSTM,缺乏空间结构。并且本文的英文语法错漏百出，非常不利于阅读。如果不是研究在数据上的特色的化，不建议阅读。

摘要

短期交通参数预测是现代城市交通管理控制系统的重要组成部分。当数据驱动的交通模型遇到非经常性或非例行的交通事件时，例如事故、道路封闭和极端天气条件，其预测精度会降低。对社交网络(尤其是twitter)数据的分析挖掘，可以通过补充交通数据和社交媒体帖子中报告的能够扰乱常规交通模式的数据来提高城市交通参数预测。本文提出了一种深度学习的城市交通预测模型，该模型将从推文信息中提取的信息与交通和天气信息相结合。该预测模型采用深度双向长短时记忆 deep Bi-directional Long Short-Term Memory(LSTM)堆栈式自动编码器stacked autoencoder(SAE)架构，利用 微博tweets、交通traffic 和天气weather数据集 进行多步交通流预测。该模型在英国大曼彻斯特的一个城市道路网络上进行了评估。使用真实数据进行大量实证分析的结果表明，与其他经典/统计和机器学习(ML)最先进的模型相比，该方法在提高预测精度方面的有效性。预测精度的提高可以减少道路使用者的挫败感，为企业节省成本，并减少对环境的危害。

1 Introduction

减少交通拥堵水平是世界各地城市的一个重要优先事项，在过去几十年中，这些城市对改善交通速度预测方法和开发 智能交通系统（ITS）有着重要的研究兴趣【26】。ITS的成功主要取决于向交通利益相关者提供的交通信息的质量以及将交通信息应用于制定政策、控制系统和交通预测模型的能力。短期交通预测是一个多学科的研究领域，综合了数学、计算机科学和工程等各个领域的贡献。由于交通的动态性、复杂性和随机性，准确的交通参数预测具有挑战性。与交通预测相关的复杂性源于交通领域的性质，包括物理交通基础设施施加的限制，如道路网络容量、交通法规和管理政策、个体代理人（道路使用者）的行为，以及日历（即一天中的时间、一周中的某一天等）、天气、，事故和事件、事件、道路封闭等等。

交通数据科学经过多年的发展，扩展了用于开发预测模型的大量数据源。早期研究通过影响驾驶行为、出行需求、出行模式、道路安全和交通流特性，调查了天气数据对交通流参数的重要性。此外，多年来的研究表明，降雨会降低交通容量和运行速度，从而增加拥堵和道路网络生产力的损失。例如，[9]的作者报告称，降雨强度通过降低交通速度4-9%影响了城市交通流特征，而高峰时期的交通拥堵与温度强度有显著的关系。尽管天气是交通预报的重要因素，但 ITS 系统中使用的大多数交通预测模型都假定天气晴朗，因此错过了能够更准确地评估交通网络状况的重要环境数据来源。

因此，最近的研究调查了纳入非交通输入数据集对城市交通参数预测的影响，许多(如果不是全部)数据集都提高了预测精度[11,12,22]。例如，一个深度双向LSTM模型，除了使用交通流特征外，还使用降雨和温度数据集进行训练。研究结果表明，与基线数据集(即流量数据集)相比，预测准确性有所提高。在包含非交通输入数据的研究中也得到了类似的结果[22,23]。这可以解释为，数据驱动的交通参数预测通常依赖于应用于历史数据观察的预测分析技术，以提取模式，用于预测未来的观察。这是有效的，因为城市交通数据具有典型的季节性、周期性。例如，早高峰和晚高峰很容易预测，因此可以预测。因此，一个能够从历史数据集中识别和学习这些模式的模型将能够“熟练地”预测未来的交通参数。

然而，在不寻常或非重复发生的情况下，如无法从历史观察推断的事件或事件，即使是最准确的预测模型也会表现出较差的预测性能[12]。非经常性或随机事件/事件的典型例子包括事故、车道封闭、体育和公共事件。考虑到此类事件可能是突然的、意想不到的和/或罕见的，因此有必要开发稳健的预测模型，以便在这些情况下准确预测交通流量。现有的研究已经提出了利用社交媒体数据进行交通参数预测的研究成果，例如，在道路交通预测中使用了基于线性回归的优化技术。作者使用从美国加州性能测量系统(PeMS)获得的在线道路交通数据来测试他们提出的模型。类似地，[30] 代表了一项研究，其中社交媒体数据被用于开发短期流量预测模型。这项研究结合了推特数据来预测体育比赛之前的交通流量，该方法使用四种模型进行评估，即ARIMA、神经网络、支持向量回归和k-近邻（k-NN）。文献[1]提出了一种结合推特数据的卡尔曼滤波模型，用于实时预测公交车到达时间。

深度学习(Deep learning, DL)方法具有先进的图像和语音识别、自然语言处理(natural language processing, NLP)和智能游戏化，也被用于短期交通预测领域[8,25,33]。DL指的是使用堆叠的、多层的架构[16]以分层的方式从高级数据中学习复杂特性的技术。利用在DL架构层上训练的交通预测周期内的社交媒体数据为提高交通预测的准确性提供了额外的机会。本研究旨在为这一领域的研究做出贡献。更具体地说，我们提出了一个深度学习城市交通流预测模型的端到端实现，该模型集成了从交通、天气相关数据和社交媒体推文(可以包含关于非重复或意外事件的信息)中获得的城市交通流预测的实时信息。道路使用者在遇到交通堵塞时，经常会通过微博发布自己的交通状况和位置，为其他道路使用者或交通管理利益相关者提供重要的实时信息。

社交媒体作为一个在线讨论平台，在过去几年里出现了显著的爆炸式增长。例如Facebook、Twitter、Instagram、snapchat等。这些服务被广泛用于交流、新闻报道和广告活动。这些社交媒体平台都提供了应用程序编程接口(api)，可以实时检索数据。Twitter是一个流行于短消息(多达280个字符)的公共社交媒体平台，由此产生的数据流可以高速、及时地传播与现实事件相关的信息。由于twitter拥有庞大的用户基础，其获取信息的巨大和差异，许多研究试图利用这个在线数据仓库进行各种数据挖掘目的，如股票市场价格[29]，犯罪率预测[39]，和流量预测[1,15,41]。

Waze和TomTom等先进的旅行者信息系统Advanced Traveler Information Systems (ATIS)已经利用大众知情的社交媒体数据来改善他们的交通导航和路线引导系统。总的来说，很多twitter账号会报告当前的交通状况，道路使用者可以利用这些账号来推断未来的交通状况，并告知出行方式的选择。例如，在英格兰北部，高速公路英格兰(@HighwaysNWEST)，大曼彻斯特交通(TfGM @OfficialTfGM)，@nwtrafficnews和Waze (@WazeTrafficMAN)是提供道路交通状况信息的典型例子。除了交通领域主要组织发布的推文外，道路使用者还可以在各自的时间线上发布推文，向(关注者)广播当前的道路交通状况，通过挖掘这些状况来推断未来的交通状况。

因此，我们提出了一种城市交通流预测方法，该方法利用来自推特源的信息，除了与交通和天气相关的数据集外，还可以包含有关非经常性交通事件的信息。[11]中的研究表明，当天气相关（降雨和温度）数据集被集成用于城市交通速度预测时，模型预测性能得到改善。本论文中提出的方法是[11]中提出的方法的增强和增强版本，其目的是提高预测精度。将推文作为表示流量状态的辅助表示的重点是，与其他社交媒体平台相比，推特用户倾向于对事件做出更快的反应。

本研究的贡献有两方面:(1)实证评估了除天气和交通数据集之外的推文是否改善了城市交通流预测，(2)使用推文、天气和交通数据集进行模型训练的端到端深度双向LSTM自编码器交通流预测模型实现。该模型使用来自英国大曼彻斯特斯特雷福德A56(切斯特路)的交通、地理特定推特和天气数据集进行评估。值得注意的是，由于深度学习模型的训练时间较长，添加额外的数据源(tweets)可能会显著影响整体模型的计算需求。因此，我们采用自编码器架构的双向LSTM神经网络。自动编码器，也可以作为降维组件，允许模型在更短的时间内训练，因为输入向量被降低到更小的维空间[16]。

由于交通数据(即时间序列)的空间分布和序列性质，最关键的是要最大限度地利用其中包含的所有数据。LSTM RNNs的基本操作是将按时间顺序排列的输入时间序列数据以链状结构[19]在时间步长t-1到时间步长t的方向上正向或“向前”传播。因此，在顺序数据集中，包含一个双向体系结构可能是有用的，该体系结构考虑向后传播，将反向序列传递给LSTM模型。直观地说，对城市交通数据使用双向LSTM应该会导致更准确的预测，因为它有时可能是有用的“反向学习”数据。例如，向后学习(比方说星期五晚上)可以用来推断星期六清晨或下午的交通情况。例如，如果很多人都在庆祝，直到周五晚上很晚，那么可能会有更少的人在周六早上或下午旅行(例如，New Y ear’s E v e)。另一方面，一个典型的例子是，天气预报说明天会下雪，这可能会影响今天的交通，因为人们可能会想今天出去购物，以避开明天的雪况。文献中的经验结果也表明，使用双向LSTMs进行流量预测比使用单向LSTMs有所改善[3,13]。在我们的模型中，我们加入了bi-directional LSTM，以提高模型的预测性能。此外，由于城市交通数据集的高度复杂和模式结构，双向序列/表示学习可能被证明是一个更稳健的解决方案。

将推文包含在流量预测中遇到的一个重大挑战是确定真实性、准确性和过滤非结构化数据集[15]中的高水平噪声的过程。为了解释这一点，我们调整了我们的算法，以优先处理来自道路交通组织Twitter账户的推文——特别是大曼彻斯特交通(@OfficialTfGM)和Waze (@WazeTrafficMAN)。研究结果表明，当Twitter feed信息包含在内时，模型预测的准确性有了显著提高。

本文的其余部分组织如下。第2节回顾了关于短期流量预测和将推特纳入流量预测的现有相关研究。第3节概述了拟议的方法，包括对关键概念的简要讨论。第4节描述了本研究使用的数据集。第5节概述了实验设置、模型描述和性能评估指标。第6节介绍了研究结果，而我们在第7节总结了研究并提出了未来的工作。

2 Related studies

本节介绍了相关研究的回顾，首先概述了短期交通预测、参数和非参数模型的技术背景。该部分最后回顾了整合Twitter消息的交通预测研究。

2.1 Short-term traffic prediction

短期交通预测技术大致分为参数化方法和非参数化方法。参数化模型是指将输入数据简化为已知函数来总结数据的模型。参数化模型有时被称为基于模型的预测方法，因为模型结构是通过对经验数据[16]的计算模型参数来预定的。自回归综合移动平均(ARIMA)模型[37]是最早的参数预测模型之一。ARIMA模型由差分方程定义:

式(1)中的变量$p$和$q$中是大于或等于零的整数，分别表示自回归和移动平均分量。ARIMA（p，d，q）模型的成功应用要求输入时间序列是平稳的。由于这个原因，有时会应用差分法来诱导数据集的平稳性，这涉及到观测值之间的连续差异。因此，计算第三个参数，即差值$（d）$，举例：if $d=0:y_t=y_t$; if $d=1,y_t=y_{t-1}$

然而，该模型的主要假设是均值、方差和自相关的平稳性。这是一个显著的缺点，因为它往往忽略了交通数据集中常见的极值【14】。交通参数往往会在高峰时段出现峰值，以及随着事件或事故的快速波动。因此，ARIMA预测值在应用于交通预测时显示出弱点。

在非参数模型中，算法从数据中“学习”，从而选择最适合训练数据集的函数，这意味着它们可以将许多函数适合特定数据集[16]。k-最近邻（k-NN）通常被认为是最容易实现的非参数机器学习模型[34]，在交通量预测中得到了广泛的研究[34，40，43]。驱动该模型的逻辑是，对特征空间中k个最相似的观测值进行分类后，新的观测样本很可能属于这一类别【42】。该模型的参数有：状态向量、距离度量、最近邻数k和预测算法。距离度量衡量样本和测试数据之间的近似程度。这是使用欧几里德距离计算的，表示为：

人工神经网络（ANN）是另一类非参数交通预测模型，其灵感来源于人脑的内部工作机制[5]。这类预测模型除了具有良好的学习能力外，还可以处理多维和非线性数据。ANN模型的基本模型组件是多层感知器（MLP），如式（3）所述：

其中$M$和$N$分别表示输入层和隐藏层中的神经元数量，$g$和$h$是传递函数。$\theta$是输入层神经元的权重值，而$\phi$是隐藏层的权重或偏差。神经网络通过使用优化算法（如反向传播）来减少误差。然而，当应用于时间序列分析时，传统的神经网络显示出不足之处，因为它们忽略了时间序列数据的时间维度，这导致了递归神经网络（RNN）的发展[7]。

Fig.1 Structure of the Recurrent Neural Network (RNN) RNNs【36】是一种神经网络，它使用循环隐藏状态来保持时间序列数据的时间维度。RNN网络的基本功能包括环路或“周期性”组件，以将神经元连接到自身并多次展开，从而可以保留序列数据中的时间维度。RNN具有隐藏状态，这些隐藏状态由从输入时间序列数据获得的序列信息更新，其输出取决于这些隐藏状态。 图1显示了RNN如何展开为网络的简单机制。在 图1中，$U$和$V$分别表示隐藏层和输出层的权重，而$W$表示隐藏状态的过渡权重。时间$t$处网络的隐藏状态由输入向量与先前网络隐藏状态$h_{t-1}$的元素乘积计算得出 。使用公式（4）进行数学计算： 

其中，$W_{hx}$表示输入和递归隐藏节点之间的权重，$W_{hh}$表示递归节点和隐藏节点自身的前一时间步之间的权重，$b$和$\sigma$分别表示偏差和非线性（sigmoid）激活。尽管RNN在时间序列预测问题上表现更好，但它们仍有一些问题有待解决。例如，从上面的等式（4）可以看出，随着时间间隔的增加，周期性隐态$h_t$接近零，这导致了梯度递减问题。因此，RNN无法从具有长时间滞后的时间序列中学习。德国工程师霍切雷特（Hochereiter）和施密杜伯（Schmidhuber）[19]的工作解决了这一问题，即长-短期记忆RNN，其主要目标是在时间序列中建模长期时间依赖性。LSTM模型用一个“存储单元”取代了周期性隐藏单元。

图2描述了具有一个内存块的LSTM-NN的体系结构。内存块包含输入、输出和遗忘门，它们分别在每个单元上执行写入、读取和重置功能。乘法门，即$\oplus$ 和$\otimes$, 分别引用矩阵加法和点积运算符，允许模型长时间存储信息，从而消除了传统神经网络模型中常见的消失梯度问题[19]。

Fig.2 具有一个内存块的LSTM模型

在LSTM模型中，时间序列的输入序列是$x=x_1+x_2+x_3,\dots ,x_t$,输出序列$y=y_1+y_2+y_3,\dots ,y_t$是使用提供的历史数据计算的，没有被告知向后追踪多少时间步的。这是通过使用以下方程组实现的：

LSTM深层神经网络已广泛应用于交通预测研究中，例如在[28]中，LSTM-NN模型用于交通速度预测，并将结果与其他非参数算法（支持向量机（SVM）、卡尔曼滤波器和ARIMA）进行比较。结果表明，LSTM模型在预测精度上具有优势。此外，[23]提出了一个LSTM和深度信念网络（DBN）深度学习模型，以利用中国北京的交通和降雨数据预测短期交通速度。实验结果表明，融合天气和交通数据源提高了模型的预测性能。

2.2 Traffic prediction using twitter information

尽管推特已经成为一个流行的社交媒体平台，但仍有机会利用其庞大的用户群中的数据来改进流量预测。[21]在推特上介绍了一项关于社交互动的研究，该研究揭示，推特被广泛采用的驱动过程可能是因为它代表了一个隐藏的网络，大多数信息描述的是无意义的互动。这构成了怀疑论的一个重要前提，这一点在有关使用推特消息进行流量预测的文献中可以看到，在数量稀少的研究中很明显。由于推特平台的开源、公共性，推特上获得的数据可能是主观的、特定于上下文的、包含细微差别的，或者是旨在表达讽刺或讽刺的语句。

尽管存在这些缺点，许多研究试图将推特信息纳入交通预测模型训练中。例如，