干货！当人工智能遇到时空数据：概念、方法和应用

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

梁宇轩：

现任新加坡国立大学计算机学院研究员。目前致力于推动时空数据挖掘和人工智能的研究、开发和创新，以及在智慧城市当中的广泛应用。在此之前，他于新加坡国立大学获得计算机博士学位。在KDD、WWW、NeurIPS、ICLR、ECCV、IJCAI、AAAI、TKDE等顶级会议和期刊上发表相关论文40余篇，引用超过1,800 次，H-index为20。他曾担任IEEE TKDE、IEEE TMC、IMWUT等国际知名期刊审稿人，及KDD、WWW、ICML、NeurIPS、ICLR等顶级会议程序委员及审稿人。他因在时空数据挖掘领域的贡献被新加坡数据科学联盟评为新加坡地区专注于数据科学的10名最具创新性和影响力的博士生之一。

内容简介

随着物联网、5G、移动互联网等新一代信息技术的快速发展，时空数据呈现爆发式增长。与图像、文本和语音数据相比，时空数据通常呈现出独特的时空特征，包括空间距离和层次性，以及时间接近性、周期性和趋势。时空人工智能是针对时空数据建模的专有人工智能技术，广泛用于交通、土木工程、环境、经济、生态和社会学等城市相关的交叉科学领域。本次讲座首先介绍时空人工智能的概念，从计算机科学的角度讨论其总体框架和主要挑战。其次，我们将时空人工智能的应用分为四类，分别是建模时空轨迹数据、时空网格数据、时空图数据和时空序列，以及各个类别中的代表性场景。我们之后重点描述了我们在上述四类数据的方法论上的最新探索和进展。最后，我们展望时空人工智能的未来，对未来有价值的研究方向进行了探讨。

What is Spatio-Temporal (ST) Data?

科学技术的进步引起大量时空数据的出现，在环境、交通等领域都有大量的时空数据产生，由时间、位置和具体的事件构成。时空数据反映的是在哪里，在何时会发生什么事情。

Motivation

如果我们对这些时空数据建模的话，我们会发现他们是现实中很多事情的基础，有助于帮助环境、城市、人类达到一个三赢的策略。

My Research Focus 

我的研究关注的是怎样去利用时空数据的一些领域知识，并利用AI技术去抽取其中的一些特征和具体知识，从而帮助大家进行一些下游任务的应用，比如智慧交通，环境保护。

Spatio-Temporal AI

What is it?

Spatio-Temporal AI 

General的AI主要是针对一些计算机视觉和NLP的任务，比如说人脸识别、语言识别和机器翻译。在我们城市数据中，如果我们使用到一些时空的AI技术，主要会进行一些对交通建模、火灾的提前预警、动态的救护车调度。时空的人工智能主要讲述的就是一个专有的AI技术用来建设时空数据。

Spatio-Temporal AI

Why is it?

Characteristics of ST Data 

说到时空数据的特性，首先是和空间相关。

（1）Spatial property

和空间相关的有3种property，分别是空间的临近性、层次性和距离，如下图所示。

（2）Temporal property

时空数据和时间也有关系，是临近性、季节性和趋势，如下图所示。

我们从智能城市中通常可以获取大量的时空数据，将这些加入时空技术就会形成时空的AI，再将学到的知识反馈给智慧城市，就能起到增进下游任务的效果。这就是我们所说的时空人工智能。

Spatio-Temporal AI

How to do it?

Modeling Pipeline of Spatio-Temporal AI 

我们在这里先展示一个较为general的思路。

首先是从城市中获取到大量的原始时空数据，有大量的POI兴趣点、路网以及轨迹数据。然后我们进行了一些data transformation将其转化成了人工智能方法更容易理解的数据类型，如ST Trajectory，ST Grid Data，ST Graph和ST Series这 4种数据集。当我们有了这4种datasets之后，我们就可以进行人工智能的方法建模。这里有两种建模思路，一种是基于普通的机器学习方法，我们通常会结合一些工程上的手段去抽取一些有用的feature再进行机器学习方法的建模；一种则是直接使用深度学习的方法，以避免使用复杂的工程手段。

Deep Spatio-Temporal Neural Networks 

这种深度的时空神经网络相对于普通的机器学习一般有以下三个优点：

（1）Larger capacity

（2）Automatic feature extraction自动抽取特征

（3）Friendly to cross-domain data fusion，如外部环境因素

其中，涉及到的Basic building blocks主要有4种，如下所示：

（1）Multi-layer perceptron (MLP)

（2）Convolutional neural networks (CNN)

（3）Recurrent neural networks (RNN)

（4）Attention models, e.g., Transformers 

既然已经建模好了方法，我们就可以去对下游任务进行建模。

Popular Tasks in Spatio-Temporal AI 

我们在这里列出了6种主要的下游应用。

Our Methodologies & Applications

我们的时空数据中有这么多种不同的类型，各种类型都有其自己的挑战和建模的思路。

因此，我们对上图中这4种不同的数据都提出了方法论，下面将对其进行阐述。

Modeling ST Trajectory

第一个例子是我们如何应用深度学习方法去对时空轨迹进行建模。

Definition of ST Trajectories

我们首先给时空轨迹一个形式化的定义，即一个移动中的object且由一系列GPS点构成。每个GPS点是由3个维度构成，前两个描述的是具体位置包括经纬度。最后一个维度讲的是在什么时间段可以得到这个点。

我们在这一节主要讨论的是，给出一条轨迹，我们要怎样去学习每个点的更好表示。这个表示也会应用到下游任务之中，包括轨迹分类、轨迹预测。

Challenge – Trajectory Irregularity 

我们回顾一下现有的方法，如RNNs是现有的一种较为先进的方法，尤其是用于建模这种轨迹。一个比较大的问题在于，他们会去假设在每两个unit之间的间隔是等量的，但是轨迹却是一个非均匀采样。循环神经网络RNN只能考虑到一些等间隔，我们发现非均匀采样会对RNN造成一个很大的问题，即两个点之间间隔较大的情况会造成两个点之间有着较大的不确定性，也会对我们的建模工作造成很大影响。

TrajODE: Continuous Trajectory Modeling 

2021年的这篇工作对轨迹实现了连续的建模。我们使用常微分方程去遍历一个连续的方法完成建模，消除了不确定性。这个TrajODE主要由3个component构成，第一个component是时空的常微分方程ST-ODE encoder。

由上图可见，我们对每个原始轨迹点先进行一个简单的feature retraction，之后得到了每个点的简单表示。我们再把这个简单表示放入我们提出的时空常微分方程之中，就会对每个非均匀采样点之间的轨迹进行一个连续化的建模。这也是第一步。

Spatio-Temporal ODEs 

我们把普通的RNN和神经常微分方程结合，从而可以得到两个点之间的连续状态。同时，我们会考虑到两个点之间隔了多少时间和距离来更新hidden states。

下面的图说明了我们和普通RNN和ODE的区别。

如上图(c)所示，在我们的时空常微分方程中，不仅具有两个点之间的连续性，还可以根据新来的状态来改变我们的状态。

具体我们是如何设计算法的呢，将在下面用算法图来说明。

（1）使用LSTM将每个input初始化到hidden state中，以防止梯度消失。

（2）我们给出了每一步的状态，通过常微分方程计算得到下一步的状态，并得到两个点之间每个点的状态。

（3）每当我们拿到一个新的点就用ei表示，然后与ODE计算得到的状态做一个融合。我们采用Spatio-temporal gating mechanism的方式进行融合，同时考虑到两个点之间的时间间隔和空间间隔。

（4）最后一步是在当我们得到这一步的hidden state之后，就可以使用MLP得到这一步的输出。

TrajODE: Continuous Trajectory Modeling

当我们已经建模好整条轨迹的连续化状态之后，我们就会进行一个后验分布的approximation。因为现实之中的轨迹很复杂，所以我们不能在预测后验分布的时候不能使用简单的高斯分布。

我们通过学到的状态生成一个简单的高斯分布，然后经过一个连续的标准化流生成一个non-Gaussian分布且能够更好的描述轨迹的状态。最后，我们会把状态进行一个reconstruction的任务。这也是我们的第一个loss function。

第二个loss function由具体的下游任务指定，我们在这里是使用轨迹分类作为一个案例。

Ablation Study 

之后我们对连续化这一点做了一个Ablation Study，结果如下图所示。

通过这些对比，我们可以发现如果我们考虑到两个点之间的连通状态，会对我们的准确率带来3%-5%的提升。同时，我们还对恢复效果进行了研究，结果如下图所示。

TrajFormer: Efficient Trajectory Modeling

我们发现我们提出的ODE方法也有一个很大的缺点，由于我们要推断两个点之间的连续性，所以造成其会比通常的循环神经网络RNN慢10倍。因此，我们又提出了一个Transformer-based model去提升效率。

How to Capture Irregularity in Transformer?

我们要怎么在Transformer考虑到轨迹的不规则材料呢？我们首先用Continuous Point Embedding方法扩展到连续的情况下，这里的连续是同时对时间和空间满足的。

如上图所示，这样做可能比较复杂，后续我们将用一个非常简单的图来说明我们是怎样考虑到两个点之间的不规则采样的。

比如对红色点anchor建模，我们只需考虑到局部窗口内的几个点是如何对其产生影响的。首先，我们考虑到这些点相对红色点的时空距离并通过矩阵的形式列出来，然后对这个矩阵计算。我们可以经此用神经网络拟合出一个连续化的kernel，然后将其应用到这几个点并相加，得到的就是一个连续的卷积，从而考虑到他们之间的时空相对距离，也就想到了轨迹上的不规则采样。

Conclusions on ST Trajectories

（1）现有的AI方法如CV和NLP领域的不能直接拿来用，不一定是建模轨迹的最好选择。

（2）轨迹建模中最重要的因素应该是irregularity这个因素。

（3）我们做的一直是如何将irregularity这个domain knowledge结合到AI方法之中。

提

醒

点击“阅读原文”，即可查看回放

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了900多位海内外讲者，举办了逾450场活动，超500万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！