基于深度多尺度卷积LSTM网络的出行需求和出发地预测

1.文章信息

《Deep Multi-Scale Convolutional LSTM Network for Travel Demand and Origin-Destination Predictions》是2020年发表在IEEE的文章。

2.摘要

传感和物联网技术的进步产生了大量的数据。移动随需应变（MoD）服务得益于智能交通系统中的大数据可用性。根据未来的出行需求或OD流量预测，服务提供者可以将未使用车辆预先分配到客户的服务出发地，以减少等待时间。传统的预测未来出行需求和OD流量的方法依赖于统计或机器学习方法。本文受图像和视频深度学习技术的启发，将局部出行需求作为图像像素，提出了一种新的深度学习模型——多尺度卷积长短期记忆网络(MultiConvLSTM)。我们提出了一种新的OD张量数据结构来表示OD流，并引入了外径张量排列和矩阵化操作方法来处理外径张量的高维特征，从而避免了传统的外径矩阵可能导致地理信息丢失的问题。MultiConvLSTM同时考虑了时间和空间的相关性来预测未来的出行需求和OD流量。文章对真实的纽约出租车数据进行了实验，其中有大约4亿条记录。结果表明，MultiConvLSTM在单步预测和多步预测中都达到了最高的精度，优于现有的出行需求和OD流量预测方法。

3.介绍

在本文中，我们从历史交通和相关数据中研究时空相关性来预测未来的交通需求和OD流量。为此，我们将城市某一特定时刻的出行需求“可视化”为一个图像，将每个小区域视为一个像素，其出行需求为对应的像素值。对于外径流，我们提出了一种新的数据结构，称为OD张量(OD Tensor)，它可以在不丢失任何地理信息的情况下存储外径流。我们还介绍了一种叫做排列和矩阵化的方法来处理OD张量来降低维数。受图像和视频处理深度学习技术的启发，提出了一种用于出行需求和OD流量预测的多尺度卷积长短期记忆网络模型(MultiConvLSTM)。MultiConvLSTM既可以处理历史需求数据，也可以处理矩阵化OD张量作为输入数据。它在输入和权重之间进行卷积，并像LSTM那样存储提取的特征。在MultiConvLSTM中可以使用不同空间分辨率的历史数据和元数据，如时间和天气信息，进一步提高预测精度。用六年半(2015年1月6月)的真实出租车数据进行了实验，以评估所提出的深度学习模型，这些数据包含纽约曼哈顿一个选定区域的约4亿条记录。实验结果表明，该方法优于现有方法。

本文的主要贡献可以概括为以下几点:

1.提出了一种新的深度学习模型——多尺度卷积LSTM (MultiConvLSTM)网络，并应用于出行需求和OD流量的预测。

2.我们提出了一种新的OD张量数据结构来表示OD流，它可以保留OD流的大部分地理信息。

3.为了处理OD张量的高维特征，引入了OD张量排列和矩阵化的操作方法。

4.对真实的纽约出租车数据进行了大量的实验，其中包含大约4亿条记录。结果表明，MultiConvLSTM在单步预测和多步预测中均达到了最高的精度，优于现有的出行需求和OD流量预测方法。

4.模型

1.出行需求预测

1）问题定义：我们的目标是预测特定区域A和时间段T的出行需求，分别平均分为m×n网格单元格和T时间区间。每个间隔的持续时间为 τ ，通常以分钟为单位。旅行需求  定义为在时间区间t∈T内，起源于网格单元格(i, j)∈A的旅行请求总数。虽然历史旅行需求是预测的主要信息来源，但其他一些元数据，如日期、时间和天气，也可能与旅行需求相关。例如，预计在工作时间的高峰时段会有更高的需求。因此，它们可以被选择性地考虑来进一步改进预测。目标是预测每个网格单元格(i, j)∈A对未来τ≥1区间的需求。假设我们在第t个区间。我们预测了出行需求，  = {  ，…， τ  ，∀(i, j)∈A}，基于历史旅行需求  = {  ，∀(i, j)∈A, t∈1,2，…Tc}和其他可选元数据。

2）预处理：

我们用三元组<  >，  ∈T是请求r的提交时间，  ∈A和  ∈A分别是旅行请求r的出发地和目的地。为了促进深度学习过程，我们根据每个区间对r进行分组，得到一组矩阵  = {(  )， t∈t}。为此，我们设  为原点(i, j)在t中出现的r的总数，即   = | {r|  ∈(i, j)，  ∈t}|。对于网格单元格(i, j)和没有旅行请求的时间间隔t，我们有   = 0。

2.OD流预测

1）问题定义：OD流捕获特定时间段内特定OD对的旅行数量。OD矩阵通常用于表示OD流。考虑一个区域a，平均划分为m × n个网格单元。起源于时间区间t∈T的OD流动表示为   = (  )∈  , N = m ×n为网格单元总数，  表示从原点o∈A出发，经t∈T到达终点d∈A的流动数量，设在区间Tc。我们的目标是预测OD流量{  ，…， τ }为未来τ≥1区间，基于历史OD流{  ，…  }和其他可选元数据。

2）OD张量：张量是一个多维数组，其顺序是维数。例如，一个矩阵是二阶张量，因为用两个下标来表示一个矩阵。OD张量是一种可以在不损失地理信息的情况下表示OD流的通用数据结构。设O⊆A和D⊆A分别为原点和终点。OD张量在时间间隔t作为   =  ∈  ,  (  )∈O和(  )∈D，  表示流的总数(  )离开的t (  )。OD张量可以保留空间关系的OD流四个指标表示地理位置的来源和目的地,从OD预测OD流张量是一个更好的选择。但是OD张量由于其高维数的特点，使得现有的深度学习模型难以处理。因此，我们对OD张量进行排列和矩阵化处理，在避免地理信息丢失的同时，降低OD张量的阶数。

3）排列和矩阵化：排列和矩阵化过程可以看作函数f:   →  。回想一下OD张量的索引被排列为(  )，(  )。在这个过程中，对于一个输入张量  =   ，我们首先将对应的起源和目的地的索引配对，即，将结构(  )，(  )排列为(  )，(  )，这样我们就得到了排列好的OD张量   =  ∈  。然后我们将排列的OD张量矩阵化，分别将(  )和(  )合并为  和  ，其中   =   和   =   。矩阵化OD张量在时间间隔t处的表达式为   =(  )∈  。将  转换为  可以将OD张量的阶数从4降至2，得到一个  矩阵。虽然  与含有mn × mn元素的原始OD矩阵Mt中相同，保留了OD张量中的地理信息。为了了解这一点，我们检查图1中给出的简单示例，它用2 × 3 (m × n)网格单元表示区域，箭头分别表示从单元1、3和5到单元2的三条流。该区域的OD流形成一个张量  =   ，∈  。张量  表示从网格单元格(  )到(  )的OD流量总数。示例的张量为:

然后我们对这个张量进行排列和矩阵化。得到的排列张量为:

对于矩阵化，矩阵化OD张量为:

图3给出了排列和矩阵化过程的输出，   =    ∈R(2²×3²)，是一个4×9 (m² ×n²)矩阵。为便于比较，图2给出了与图1中实例对应的普通OD矩阵Mt。可以看出，Mt不能说明这三种流动的地理运动，而  。在宏观水平上，图3是一个2×3的块矩阵，每个块也包含2×3的元素。块的数量等于网格单元格的数量，其中每个块代表对应的网格单元格。

其中每个块代表对应的网格单元格。

每个块的和表示目标位于相应网格单元的流的总数。例如，块2中所有元素的和，即   = 0 + 1 + 1 + 0 + 1 = 3，表示三个流向网格单元格2的流。也就是说，如果三个流的目的地是网格单元格2，则块2的和为3。但是如果没有给出网格单元的排列，OD矩阵中的三个1就不能直观地提供这种地理信息。因此，排列和矩阵化的OD张量可以保留地理信息，并将OD流可视化。它可以直接用于我们提出的深度学习模型。

4）预处理：与出行需求预测类似，我们需要将出行记录R转换为OD张量以便进一步处理。

4.多尺度卷积LSTM网络

1）卷积LSTM网络：我们结合历史数据的时空相关性来预测未来的出行需求和OD流量。我们的模型中使用的基本单元是ConvLSTM[55]，它在输入和权重之间进行卷积，并像LSTM一样存储提取的特征。然而，ConvLSTM捕获的空间相关性范围较短。增加核的大小可以提高精度，但需要更高的计算能力。此外，由于输出分辨率与输入分辨率相同，因此在ConvLSTM中不需要池化层。数据的分辨率在整个网络中保持不变。但是，由于加入池化层可以提高CNN的性能，在网络中合并不同分辨率的数据可能会进一步提高预测精度。因此，我们考虑了一个多尺度网络，并提出MultiConvLSTM用于出行需求和OD预测。

卷积LSTM网络(ConvLSTM)包含隐藏状态和单元状态单元，保留了LSTM存储提取信息的能力。在LSTM中，输入和隐藏状态乘以权值。然而，在ConvLSTM中，我们不是直接用权值乘以输入和隐藏状态，而是用权值执行卷积。图8为ConvLSTM的体系结构，其关键方程如下:

其中◦和*分别表示Hadamard积和卷积算子。这样，空间的相关性的数据也可以考虑在预测中。注意，通过设置内核大小为1 × 1，可以将ConvLSTM简化为RNN-LSTM。

2）多尺度网络：池化层对于CNN从输入中提取特征非常重要，因为使用固定大小的内核可以从不同分辨率的相邻网格单元中提取不同的特征。但由于ConvLSTM的输出分辨率与输入分辨率相同，且数据流与LSTM相似，因此在ConvLSTM中缺少pooling功能。因此，如果没有pooling层，ConvLSTM中的卷积只能解释较短的空间相关性，只能考虑相同分辨率的数据。如果在模型中输入较低分辨率的数据，则只有相同大小的核才能考虑长程空间相关性。为了解决这个问题，我们通过输入同一组数据[57]的较低分辨率版本，将模型转换为一个多尺度网络。低分辨率数据中的一个像素与附近几个高分辨率数据的像素相结合。因此，高分辨率数据中的像素被压缩，导致低分辨率数据的像素更少。因此，在相同的内核大小下，可以考虑更多的像素，这就像池化层一样工作。设λs为输入数据的分辨率，当s = 1,2，…S，s和S分别为分辨率指标和最高分辨率指标。 

λ 和 λ 分别为λ 和 λ 的低分辨率数据集，其中 λ = { λλλ }为历史数据， λ  = { λ }为未来值。我们的目标是用不同分辨率的输入数据来预测未来的需求 λ 。输入数据是通过复制原始分辨率的数据，并缩小到不同的分辨率来准备的。输入不同分辨率的数据，分别输入到相应层的模型中。预测计算公式为:'

式中，ConvLSTM(·)和up(·)分别为ConvLSTM网络和上采样操作。

3）多尺度卷积网络：

通过将ConvLSTM与多尺度网络相结合，我们开发了用于出行需求和OD预测的深度学习模型MultiConvLSTM，其架构如图9所示。

模型的基本单元是ConvLSTM，不同分辨率有多个ConvLSTM。它们形成了一个层次结构，这样低分辨率ConvLSTM的输出就被提供给下一层的更高分辨率的输入。还可以输入时间、天气等元数据，并利用全连接神经网络(FCNN)将元数据转换为预测输出(ψλS)，与预测需求的维数相同，与输入数据连接。FCNN的作用是将时间、天气等潜在有用的元数据转化为m × n矩阵  。  被设计成与x λSt具有相同的格式，从而可以被输入到MultiConvLSTM的最后一层。这种元数据可能包含一些与旅行需求和OD流量相关的隐藏信息。例如，上下班高峰期交通会很拥挤，因为人们在工作日早上上班，晚上回家。如果天气不好，他们可能不太愿意出去。

为了克服这种深度网络的退化，我们采用了从深度残差学习中得到的方法，在输出中加入了  和up(  )的平均值。1)在训练过程中应与基本事实具有相似的值。这使得最后一层的ConvLSTM可以对残差进行建模，在训练过程中更容易进行优化，而不是原来预测的未来需求。虽然MultiConvLSTM在每次执行中只能预测一个未来的时间步，但是可以使用历史数据和最近预测的需求作为输入来预测后续的时间步。

5.案例分析

我们使用纽约出租车数据集对提出的MultiConvLSTM深度学习模型进行了评估，该数据集包含上车和下车时间以及上车和下车位置。2009年1月至2015年6月纽约出租车服务的记录。数据集中的每条记录都表示一种出租车服务，包括出发地、目的地、上车和下车时间。时间和位置信息分别精确到最近的纬度和经度格式的第2位和小数点后6位。由于New Y york数据集的分辨率极高，我们的通用模型无法直接处理这些原始数据。因此，我们将原始数据预处理为出行需求或OD张量的格式，以便使用我们提出的模型。大约有4亿条出租车出行记录。一个时间步的持续时间设置为10分钟。我们提取80%的数据作为训练数据，其余的用于测试。实验分为出行需求预测和OD流量预测两部分。

我们的研究中使用了三个常用的性能指标:均方根误差(RMSE)、平均绝对误差(MAE)和对称平均绝对百分比误差(SMAPE)。我们测试了几个常用的超参数值，并选择了性能最好的一个。例如，我们用1 × 1,3 ×3和 5×5的内核大小测试性能，并确定3×3为模型的最佳内核大小。

1.出行需求预测：图10显示了研究选取的曼哈顿地区。它被分为28×20个网格单元，每个网格单元的面积为220 × 170平方米。MultiConvLSTM的时间步长为12。内核大小为3×3。采用了28 × 20、14 × 10和7 × 5三种分辨率。还使用以下模型与MultiConvLSTM进行比较，以评估性能:

单步预测：表II显示了预测一个未来时间步(τ = 1)的不同方法的RMSE、MAE和SMAPE结果。

多步预测：在我们的实验中，时间步长的长度是10分钟，这可能不适用于某些应用程序。在更遥远的未来，对某些应用的需求也可能更有用。使用历史数据和最近预测的需求作为输入，可以预测后续的时间步长。图11(a)、11(b)和11(c)分别显示了不同模型的多步预测误差、RMSE、MAE和SMAPE，其中所有方法考虑了12个未来时间步(共2小时)。表III给出了不同模型12个时间步的平均RMSE、MAR和SMAPE。总的来说，由于误差的累积，所有模型的误差都随着时间步长的增加而增加。我们提出的MultiConvLSTM模型在所有时间步的预测中实现了最低的RMSE、MAE和SMAPE。

一天的时间：预测误差随着一天中不同时间的变化而变化。我们研究了预测误差和平均旅行请求数之间的关系。特定时间和平均出行请求次数的平均预测误差如图12所示。如图所示，误差与旅行请求的平均数量成正比。出行需求的数量反映了人的流动性，分别在早上4-5点、下午4点和晚上7点出现了两个出行需求谷和一个高峰。出行需求越高，预测误差越大。

每周的一天：与一天的时间的实验类似，预测误差和平均出行请求数随着一周中不同的天数而不同。预测结果如图13所示

时间信息的影响：我们研究了将时间信息作为深度学习模型的输入对出行需求预测的影响。表四给出了不同深度学习模型在加入元数据和不加入元数据时的出行需求预测误差。一般来说,没有元数据的出行需求预测精度低于有元数据的预测精度。为了简单起见，天气数据不在这项工作中。

2.OD流预测

单步预测:表V显示了预测一个未来时间步(即τ = 1)的不同方法的RMSE、MAE和SMAPE结果。在所有比较方法中，具有矩阵化OD张量输入的MultiConvLSTM在所有三个性能指标方面都达到了最佳的预测精度。

多步预测:与出行需求预测类似，我们使用历史数据和最近预测的OD流量作为输入，预测后续的时间步。

图14(a)、14(b)和14(c)分别显示了不同模型的多步预测误差RMSE、MAR和SMAPE，其中所有方法都考虑了12个未来时间步(共2小时)。我们可以看到，对于RMSE、MAE和SMAPE的所有时间步，MultiConvLSTM在所有比较方法中表现最好。

一天中的时间:我们分析了不同的时间在预测误差的变化与OD流量。平均出行请求数和预测误差在一天中的变化如图15所示。

每周的一天:同样，出行请求数与预测误差的关系如图16所示。预测误差与旅行请求的数量成正比。旅行请求数越高，预测误差越高。与旅游需求预测类似，我们认为这是由于数据集的稀疏性。

时间信息的影响:我们研究了将时间信息作为输入加入到OD流量预测深度学习模型中的效果。表VIII给出了不同深度学习模型在添加和不添加元数据时OD流量预测误差，我们可以得出结论，在深度学习模型中加入一些相关数据可以提高OD流量预测精度。

6.结论

在大多数现有的按需运输服务中，乘客必须等待指定的车辆到达乘客的上车点。为了减少不必要的等待时间，我们提出了一种新的深度学习模型MultiConvLSTM来准确预测未来的出行需求OD流量，这样空置的车辆可以预先分配给潜在客户的服务来源。MultiConvLSTM是基于多尺度网络和ConvLSTM设计的，它可以从历史数据和元数据中提取时空特征，预测未来的需求和OD流量。提出了出行需求和外径流量预测问题，讨论了出行需求和外径流量的预处理方法。为了保存地理信息，我们提出了一种新的OD张量数据结构来存储OD流，并对OD张量进行排列和矩阵化降维。在拥有约4亿记录的真实纽约交通数据集上的实验表明，MultiConvLSTM在单步预测和多步预测方面都优于现有的预测方法。与传统的OD矩阵表示相比，OD张量排列和矩阵化方法可以帮助深度学习模型获得更高的预测精度。未来，可以将额外的数据分析方法应用到外径张量中来研究外径流动。此外，一个重新平衡的策略是值得研究的，以进一步减少等待时间。另一个潜在的应用是，在考虑OD流量预测的情况下，通过交替出行策略来优化运营效率。

Attention

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！