【时间序列】ICML 2020 时间序列相关论文总结（附原文源码）

ICML 是 International Conference on Machine Learning的缩写，即国际机器学习大会。ICML如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议，被中国计算机协会推荐为A类会议。

每年，世界各地的学术机构和企业都会相聚在这个会议上，讨论分享最新的学术进展。因此，ICML被视为与NeurIPS齐名的推动机器学习发展的重要会议。

今年 ICML 2020 接收了 1088 篇论文，接收率约为21.8%（去年为22.6%，前年为24.9%）。接收论文列表可以访问原文获取。

本文梳理ICML有关时间序列领域的最新研究成果，希望对大家的科研工作带来帮助。

• 不规则时间序列处理：2篇

• 时间序列表示学习：1篇

• 时间序列模型优化：3篇

• 时间序列聚类：1篇

• 事件的时间：3篇

• 时空预测：1篇

No.1

不规则时间序列处理

论文标题：Set Functions for Time Series

论文地址：http://proceedings.mlr.press/v119/horn20a.html

论文源码：https://github.com/BorgwardtLab/Set_Functions_for_Time_Series

论文摘要：尽管深度神经网络取得了巨大的成功，但许多体系结构通常很适用不规则采样和异步时间序列。本文提出了一种新方法，该方法将具有未对齐测量结果的不规则采样时间序列分类，重点是高可伸缩性和数据效率。我们的方法SeFT（时间序列的集合函数）基于微分集合函数学习的最新进展，可高度并行化并具有良好的内存占用量，因此可以很好地扩展到长时间序列和在线监视场景的大型数据集。此外，我们的方法允许量化每个观测对分类结果的贡献。

论文标题：Learning from Irregularly-Sampled Time Series: A Missing Data Perspective

论文地址：http://proceedings.mlr.press/v119/li20k.html

论文源码：https://github.com/steveli/partial-encoder-decoder

论文摘要：不规则采样的时间序列出现在包括医疗保健在内的许多领域。它们很难建模，因为它们不能自然地产生许多标准机器学习模型所要求的固定尺寸表示。在本文中，我们从丢失数据的角度考虑了不规则抽样。我们将观察到的不规则采样的时间序列数据建模为从连续但未观察到的函数采样的索引值对序列。我们介绍了一种编码器-解码器框架，用于从此类通用索引序列中学习。我们提出了基于变体自动编码器和生成对抗网络的学习方法。对于连续的不规则采样时间序列，我们引入了连续卷积层，可以有效地与现有的神经网络体系结构进行交互。

No.2

时间序列表示学习

论文标题：Learnable Group Transform For Time-Series

论文地址：http://proceedings.mlr.press/v119/cosentino20a.html

论文源码：https://github.com/Koldh/LearnableGroupTransform-TimeSeries

论文摘要：我们提出一种新颖的方法，通过考虑定义为“组变换”的信号的频谱分解来过滤时间序列的库学习。该框架使我们能够概括经典的时频变换（例如小波变换），并有效地学习信号的表示形式。虽然小波变换滤波器组的创建依赖于母滤波器的仿射变换，但我们的方法允许进行非线性变换。这样的映射引起的变换使我们能够跨越一类更大的信号表示形式，从小波到线性调频滤波器。我们建议对这种非线性映射进行参数化，以便可以针对特定任务和信号优化其采样。

No.3

时间序列模型优化

论文标题：Spectral Subsampling MCMC for Stationary Time Series

论文地址：http://proceedings.mlr.press/v119/salomone20a.html

论文源码：https://media.icml.cc/Conferences/ICML2020/v119/salomone20a-supp.zip

论文摘要：近年来，在大型数据集上使用马尔可夫链蒙特卡洛（MCMC）进行贝叶斯推断的工作迅速发展。但是，底层方法通常限于相对简单的设置，在这些设置中数据具有特定形式的独立性。我们提出了一种新颖的技术，可以通过在频域中进行有效的数据采样来加快时序数据的MCMC速度。对于几个具有挑战性的时间序列模型，我们证明了与完整数据集上的MCMC相比，速度最多提高了两个数量级，同时产生的偏差可忽略不计。

论文标题：Continuous Time Bayesian Networks with Clocks

论文地址：http://proceedings.mlr.press/v119/engelmann20a.html

论文源码：-

论文摘要：持续不断发展的结构化随机过程提供了一种广泛采用的框架，可以对自然和工程中发生的现象进行建模。但是，通常选择此类模型来满足马尔科夫属性以保持易处理性。这种无记忆模型中比较流行的一种是连续时间贝叶斯网络（CTBN）。在这项工作中，我们将其对指数生存时间的限制解除为任意分布。电流扩展是通过辅助状态来实现的，这会影响可处理性。为了避免这种情况，我们引入了一组节点时钟，以构建图耦合半马尔可夫链的集合。

论文标题：Time Series Deconfounder: Estimating Treatment Effects over Time in the Presence of Hidden Confounders

论文地址：http://proceedings.mlr.press/v119/bica20a.html

论文源码：https://github.com/ioanabica/Time-Series-Deconfounder

论文摘要：估计治疗效果是医学中普遍存在的问题。从纵向观察数据估计治疗效果的现有方法假定没有隐藏的混杂因素，这种假设在实践中是不可检验的，如果不成立，则会导致估计偏差。在本文中，我们开发了时间序列去混杂器，该方法利用了随着时间推移的多种治疗的分配，从而能够在存在多原因隐藏混杂因素的情况下估算治疗效果。时间序列Deconfounder使用具有多任务输出的新型递归神经网络体系结构来构建随时间变化的因子模型并推断潜在变量，从而使分配的治疗有条件地独立。然后，它使用这些潜在变量执行因果推理，以替代多原因未观察到的混杂因素。

No.4

时间序列聚类

论文标题：Temporal Phenotyping using Deep Predictive Clustering of Disease Progression

论文地址：http://proceedings.mlr.press/v119/lee20h.html

论文源码：https://github.com/chl8856/AC_TPC

论文摘要：由于现代电子医疗记录的可用性越来越强，因此患者护理数据通常以时间序列的形式存储。聚集这些时间序列数据对于患者表型，通过识别“相似”患者并预测适合同类患者亚组的治疗指南来预测患者的预后至关重要。在本文中，我们开发了一种用于对时间序列数据进行聚类的深度学习方法，其中每个聚类均包含具有相似的预期未来结果（例如不良事件，合并症）的患者。为了鼓励每个聚类具有均质的未来结果，通过学习离散表示来进行聚类，该表示最能描述基于新颖损失函数的未来结果分布。

No.5

事件的时间

论文标题：Kernelized Stein Discrepancy Tests of Goodness-of-fit for Time-to-Event Data

论文地址：http://proceedings.mlr.press/v119/fernandez20a.html

论文源码：-

论文摘要：生存分析和可靠性理论与事件发生时间数据的分析有关，在这种情况下，观察值对应于直到感兴趣的事件（例如因特定疾病导致的死亡或机械系统中的组件故障）之前的等待时间。由于存在检查机制，这种类型的数据是唯一的，这是一种丢失的数据类型，发生在我们没有观察到所关注事件的实际时间时，但是我们可以通过以下方式获得近似值：已知属于哪个观察结果。在本文中，我们将重点放在结合Stein方法和核化差异的非参数拟合优度测试程序上。对于未经审查的数据，有一种自然的方法可以实现带核的Stein差异测试，对于未经审查的数据，有多种选择，每种选择都有各自的优缺点。在本文中，我们提出了一组针对事件发生时间数据的核化Stein差异测试，并从理论和经验上对它们进行了研究。

论文标题：Neural Datalog Through Time: Informed Temporal Modeling via Logical Specification

论文地址：http://proceedings.mlr.press/v119/mei20a.html

论文源码：https://github.com/HMEIatJHU/neural-datalog-through-time

论文摘要：当可能事件类型的集合很大时，学习如何根据过去事件的模式来预测未来事件很困难。训练不受限制的神经模型可能会过度适应虚假模式。为了利用特定领域的知识来了解过去事件可能如何影响事件的当前概率，我们建议使用时间演绎数据库来跟踪一段时间内的结构化事实。规则可以从其他事实和过去的事件中证明事实。每个事实都有一个随时间变化的状态-由神经网络计算的向量，其拓扑结构取决于事实的出处，包括过去事件的经历。随时可能发生的事件类型是由特殊事实给出的，这些事实的概率与状态一起被神经建模。在合成域和实际域中，我们都表明，从简洁的Datalog程序派生的神经概率模型通过在其体系结构中编码适当的域知识来改善预测。

论文标题：Temporal Logic Point Processes

论文地址：http://proceedings.mlr.press/v119/li20p.html

论文源码：-

论文摘要：我们为事件数据提供了一个建模框架，旨在回答下一个事件将会发生的问题，例如何时发生和为何发生。我们提出的模型在小型数据机制方面表现出色，能够根据逻辑规则整合领域知识。我们通过强度函数对事件的动力学开始和结束进行建模，其结构由一组一阶时间逻辑规则告知。使用时间关系的软化表示以及逻辑规则的加权组合，我们的概率模型可以处理事件中的不确定性。此外，在给定简单的时间逻辑规则的情况下，许多众所周知的点过程（例如，霍克斯过程，自校正点过程）可以解释为我们模型的特殊情况。因此，我们的模型丰富了点流程家族。我们为模型推导了最大似然估计程序，并表明当数据稀疏且领域知识至关重要时，它可以导致准确的预测。

No.6

时空预测

论文标题：Unsupervised Transfer Learning for Spatiotemporal Predictive Networks

论文地址：http://proceedings.mlr.press/v119/yao20a.html

论文源码：https://github.com/thuml/transferable-memory

论文摘要：本文探索了跨多个时空预测任务的无监督转移学习的新研究问题。与大多数现有的转移学习方法侧重于解决监督任务之间的差异不同，我们研究如何将知识从无监督学习模型的动物园转移到另一个预测网络。我们的动机是，期望来自不同来源的模型能够从不同角度理解复杂的时空动态，从而即使任务具有足够的训练样本也可以有效地补充新任务。从技术上讲，我们提出了一个称为可转移内存的可区分框架。它从多个预先训练的RNN的存储状态库中自适应地提取知识，并通过一种称为可传输存储单元（TMU）的新颖循环结构将其应用于目标网络。