时间序列数据机器学习（ICML 2022）_transformer-attentional copulas for time series

Utilizing Expert Features for Contrastive Learning of Time-Series Representations

本文提出一种将专家知识用于时间序列表示学习的方法。该方法使用专家特征来取代之前对比学习方法中常用的数据转换。这样做是因为时间序列数据通常来自工业或医疗领域，这些领域的专家通常可以从领域专家那里获得专家特征，而时间序列数据的转换通常很难实现。本文提出了有用的时间序列表示应该满足的两个属性，并表明当前的表示学习方法不能确保这些属性。本文设计了ExpCLR，一种新的对比学习方法，建立在利用专家特征来鼓励学习到的表示的这两种属性的目标上。在三个真实世界的时间序列数据集上证明，ExpCLR在无监督和半监督表示学习方面都超过了一些最先进的方法 

文中贡献点：

因此，这项工作的目标是利用这些专家特征，以找到利用专家特征而不是数据转换的时间序列数据集的良好嵌入或表示。

TACTiS: Transformer-Attentional Copulas for Time Series

时变量估计是医疗保健和金融等领域决策的基本组成部分。然而，这种估计的实际效用受到其量化预测不确定性的准确性的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。本文提出一种基于transformer架构的通用方法，用一个基于注意力的解码器估计联合分布，可证明能学会模仿非参数copula的属性。由此产生的模型有几个理想的属性:它可以扩展到数百个时间序列，支持预测和插值，可以处理非对齐和非均匀采样的数据，并可以在训练期间无缝适应缺失数据。凭经验证明了这些属性，并表明该模型在多个真实世界数据集上产生了最先进的预测。

Learning of Cluster-based Feature Importance for Electronic Health Record Time-series

最近电子健康记录(EHR)的可用性允许开发预测住院病人恶化和轨迹演变风险的算法。然而，由于这些数据是稀疏、异构、多维和多模态的时间序列，利用EHR预测疾病进展具有挑战性。因此，聚类经常用于识别患者队列中的相似群体，以提高预测效果。目前的模型在获取患者轨迹的聚类表示方面取得了一些成功。然而，他们1)无法获得每个聚类的临床可解释性，2)在疾病结果分布不平衡的背景下难以学习有意义的聚类数字。

本文提出一种有监督的深度学习模型，以识别与结果预测和患者轨迹有关的临床可理解表型为基础，聚类EHR数据。引入新的损失函数来解决类不平衡和簇坍缩问题，并提出一种特征-时间注意力机制来识别跨时间和特征维度的基于簇的表型重要性。我们在对应于不同医疗环境的两个数据集上测试了我们的模型。所提出模型为集群形成提供了额外的可解释性，并在相关指标上比基准至少高出4%。 

框架：

本文提出一种新的模型，用基于聚类的时间序列重要性学习(CAMELOT)表示。我们提出的方法显示在图1中。该模型在3个关键项目上改进了之前的文献:a)针对多类不平衡的修正损失函数，b)一个新的损失函数，以确保聚类探索和代表性聚类，c)一个新的特征-时间注意力级别框架，以增强表征并为聚类分配引入特征-时间可解释性。