论文阅读【时间序列分析1】Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series_多模态时间序列

[论文]Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series

[代码]https://github.com/durstewitzlab/mmplrnn
[发表]ICML 2022
[领域]多模态时间序列分析

1.原理解释

（1）What is a Multi-Modal Variational Autoencoder (MVAE)?

• MVAE是一种机器学习模型，可以将不同类型的数据（如图像、音频、文本）融合在一起，并学习生成一个共同的潜在表示。它是变异自动编码器（VAE）的延伸，是一种生成模型，可以学习数据的潜在表征并从中生成新的数据。
• MVAE的主要思想是将多模态数据整合到一个模型中，并通过学习生成一个共同的潜表征来捕捉不同类型数据之间的关系和关联性。MVAE包括多个编码器和解码器，每个编码器和解码器对应一个数据模态。编码器将每个数据模态映射到潜像，而解码器则将潜像映射回原始数据。通过最小化重建误差和正则化潜像，MVAE可以学习一个共同的潜像空间，不同数据模态之间的关系可以由潜像来表示。
• MVAE可以应用于许多领域，如图像处理、语音识别、自然语言处理等，具有广泛的应用价值。在本文中，MVAE被用来将不同类型的时间序列数据融合在一起，并生成一个联合潜伏代码，用于重建非线性动力系统。

（2）How is the Multi-Modal Variational Autoencoder (MVAE) model mapped?

• 多模态变异自动编码器（MVAE）模型将多种数据模态映射到一个共同的潜在空间。这个共同的潜空间代表了不同模态之间的关联和差异。具体来说，每个数据模态都有一个相应的编码器，将数据映射到潜空间中的一个分布。这些编码器的输出被组合成一个多模态潜变量，可用于生成多种数据模态的样本或执行分类或回归等任务。
• 在MVAE模型中，每个编码器都有一个相应的解码器，将潜变量映射回原始数据空间。解码器也可以使用常见的神经网络结构，如去卷积神经网络（DCNN）或反卷积神经网络（ICNN）。这些解码器将潜变量解码为原始数据模式，用于模型评估或数据处理。

（3）非线性动力学系统重构是什么？

非线性动力学系统指的是物理、生物、化学等领域中的一类系统，其演化规律不能用简单的线性方程来描述，而是需要用更为复杂的非线性方程来描述。这些系统的行为通常是非常复杂和多变的，涉及到许多因素的相互作用，例如混沌现象、奇异吸引子等。非线性动力学系统的研究对于理解自然界中的各种现象和现象背后的本质机制有着重要的意义，例如气候变化、心脏跳动、流体力学等领域。

• 非线性动力学系统重构是指从时间序列数据中推断出底层非线性动力学系统的过程。在实际应用中，我们经常遇到通过测量时间序列来了解某个系统的行为。这些时间序列数据通常是由底层的非线性动力学系统生成的。因此，非线性动力学系统重构的目标就是根据已知的时间序列数据推断出生成这些数据的底层非线性动力学系统的结构和参数。
• 在该领域的研究中，经常使用机器学习和统计方法来进行非线性动力学系统重构。例如，可以使用递归神经网络（RNN）或卷积神经网络（CNN）来建模非线性动力学系统，并通过训练模型来拟合时间序列数据。在模型训练完成后，我们可以使用模型来预测未来的时间序列，以评估模型的性能和重构准确性。非线性动力学系统重构在物理、工程、生物学等领域都有广泛的应用。

（4）What is Sparse Teacher Forcing？

• 稀疏教师强制（Sparse Teacher Forcing）是一种用于生成模型的训练方法，旨在促使模型在生成序列时更加准确和自然。

• 在常规的教师强制（Teacher Forcing）中，模型在训练过程中接收到真实的序列作为输入，并被要求生成下一个正确的标记。但在生成序列时，由于许多生成标记的概率非常接近，因此模型可能会选择不自然的标记。

• 稀疏教师强制通过以某种方式强制模型对一定数量的时间步骤执行自我推理，从而缓解了这个问题。在稀疏教师强制中，模型在生成序列的某些时间步骤时将不再接收真实的输入标记，而是将前一个生成的标记作为输入。这样，模型被迫在一些时间步骤上执行自我推理，从而增加了模型在生成时的多样性和准确性。同时，为了防止模型仅仅重复之前生成的标记，稀疏教师强制还会随机选择一定数量的时间步骤来执行自我推理。

• 稀疏教师强制已被证明在生成模型中具有很高的实用价值，例如在语言生成、机器翻译和图像生成等领域。

(5)What is PLNN?

• PLNN是指"Probabilistic Logic Neural Networks"，即概率逻辑神经网络。它是一种融合了概率逻辑和神经网络的模型，能够同时处理不确定性和非线性关系，被广泛用于机器学习、数据挖掘、自然语言处理、图像处理等领域。PLNN模型结构中的概率逻辑模块通常包括模糊逻辑、贝叶斯网络、决策树等，而神经网络模块可以是传统的前向神经网络、循环神经网络、卷积神经网络等。

（6）What is ELBO?

• ELBO是Evidence Lower Bound的缩写，是一种用于变分推断的目标函数。在概率编码模型中，我们通常希望推断潜在变量（例如，在生成模型中的隐变量），以便估计模型的参数或进行推理。变分推断是一种用于近似推断潜在变量的技术，其中我们试图最小化推断分布与真实后验分布之间的差异。

• ELBO是一个较小的下限，该下限给出了模型的证据的下限，即模型中观察到的数据的对数似然。具体地说，ELBO由两个部分组成：第一个部分是推断分布与真实后验分布之间的KL散度（也称为KL散度项），第二个部分是对数似然项。最小化ELBO等价于最大化对数似然，并鼓励推断分布与真实后验分布之间的差异最小化。因此，ELBO是一种在变分推断中常用的优化目标。

（7） What is PLRNN？

• PLRNN是一种高斯分段线性循环神经网络（PLRNN）。它是基于循环神经网络（RNN）的一种扩展形式，由多个高斯分段线性函数组成。这些函数将输入数据映射到一组连续的状态空间，从而使PLRNN能够建模具有非线性动态的复杂系统。与传统的RNN相比，PLRNN具有更高的灵活性和表达能力，并且在一些任务上表现更好。在非线性动力学系统重构中，PLRNN被用作动态系统的建模器。

2.论文解析

（1）论文总体思想是什么？

• 这篇论文的主要思想是探索一种新方法来从多模态时间序列数据中重构非线性动力学系统。通过使用多模态变分自编码器（MVAE）将不同类型的时间序列数据融合在一起，并使用稀疏教师强制（TF）训练递归神经网络（RNN），从而实现对动力学系统的重构。该方法可以有效地处理混沌动力学系统上的机器学习模型训练的挑战，并且相比其他方法在重构方面表现更好。因此，该论文的主要思想是探索一种新的方法，以揭示出底层的非线性动力学系统，从而在科学研究和工程应用中具有潜在的重要价值。

（2）论文的方法是什么？

• 这篇论文的方法是通过多模态变分自编码器（MVAE）和稀疏教师强制（TF）训练递归神经网络（RNN），从多模态时间序列数据中重构非线性动力学系统。
• 具体地，作者首先使用MVAE将不同类型的时间序列数据融合到一个联合潜在编码中，以捕捉数据之间的相关性。然后，作者利用稀疏教师强制（TF）的方法，将MVAE生成的联合潜在编码作为RNN的强制输入信号，以控制RNN的梯度不会爆炸，从而更有效地训练模型。最后，通过训练后的RNN模型来重构底层的非线性动力学系统。
• 该方法的关键在于将不同类型的时间序列数据融合在一起，以提高重构动力学系统的准确性和鲁棒性。此外，通过稀疏教师强制方法可以更好地处理在混沌动力学系统上训练机器学习模型的挑战，从而提高模型的性能。

• 将不同类型的时间序列数据融合在一起，需要使用多模态变分自编码器（MVAE）来将它们映射到一个共同的潜在空间中，然后再使用这个共同的潜在空间作为递归神经网络（RNN）的输入。
• MVAE的训练包括两个步骤。第一步是训练单独的自编码器来重构每种类型的时间序列数据。第二步是训练MVAE来将所有自编码器的潜在空间映射到一个共同的潜在空间中。这可以通过最大化变分下界来实现。
• 训练RNN时，可以使用稀疏教师强制（TF）来训练模型。稀疏教师强制是一种强制训练技术，可以使神经网络在输入序列中学习关键时刻的表示，并使神经元对于不同的时间步骤具有不同的激活程度。这种技术可以帮助RNN学习动力学系统的时间变化规律。
• TF训练的过程是，在每个时间步骤上，将训练数据的真实值和RNN的输出值之间的误差作为损失函数，同时还引入一个额外的正则化项，这个正则化项是在整个时间序列上的。这个正则化项可以控制神经元在整个时间序列中的平均激活水平，从而实现稀疏性。
• 综上所述，通过使用MVAE将不同类型的时间序列数据融合在一起，并使用稀疏教师强制训练RNN，可以实现对动力学系统的重构。

（3）methodology是什么？

1. 数据预处理：将多模态时间序列数据转换为适合训练模型的形式。
2. 构建多模态变分自编码器（MVAE）：MVAE包括多个编码器和解码器，每个编码器和解码器分别对应一个数据模态。编码器将每个数据模态映射到潜在表示，解码器将潜在表示映射回原始数据。通过最小化重构误差和正则化潜在表示，MVAE可以学习到一个共同的潜在空间，其中不同数据模态之间的关系可以通过潜在表示来表示。
3. 稀疏教师强制训练递归神经网络（RNN）：为了更好地处理在混沌动力学系统上训练机器学习模型的挑战，作者采用稀疏教师强制（TF）的方法，将MVAE生成的联合潜在编码作为RNN的强制输入信号，以控制RNN的梯度不会爆炸，从而更有效地训练模型。
4. 非线性动力学系统重构：通过训练后的RNN模型来重构底层的非线性动力学系统。具体来说，可以使用训练好的RNN模型来预测未来的时间序列，然后通过比较预测结果和实际结果来评估模型的性能和重构准确性。

总的来说，该方法的关键在于将不同类型的时间序列数据融合在一起，以提高重构动力学系统的准确性和鲁棒性。同时，通过稀疏教师强制方法可以更好地处理在混沌动力学系统上训练机器学习模型的挑战，从而提高模型的性能。

（4）论文的贡献是什么？

提出了一种新的方法来从多模态时间序列数据中重构非线性动力学系统。该方法使用多模态变分自编码器（MVAE）来将不同类型的时间序列数据融合在一起，并使用稀疏教师强制（TF）训练递归神经网络（RNN）进行预测和重构。

这个方法在实验中证明了对于具有不同类型的时间序列数据（如位置、速度和加速度等），能够更好地捕捉系统的动态行为，从而提高对动力学系统的重构和预测的准确性。

该方法的贡献不仅是在非线性动力学系统的研究中，而且在其他领域，例如金融、环境科学和生物医学等领域也有应用的潜力。同时，该方法也为多模态时间序列数据的融合提供了新的思路和技术手段。

3.论文总结

（1）摘要

• 物理学、生物学或医学中经验观察的时间序列通常由一些底层动力系统（DS）生成。提出了一个多模态数据集成的框架，该框架基于可动态解释的循环神经网络和广义线性模型类的模式特定解码器模型。

（2）介绍

• 许多自然现象，从物理学到心理学，以及许多工程系统，都可以被描述为（通常是非线性的）动力系统，其时间演变由一组微分或时间递归方程指定。循环神经网络可以用来推断这些方程。重建底层DS比训练系统对时间序列产生良好的提前预测更具挑战性，因为模型还必须重现底层系统的不变属性。

• 许多自然和工程DS可以通过产生时间序列的许多不同的测量通道来观察。结合这些不同的数据流可能有助于深入了解底层的DS，也可能相互补充，并有助于识别系统。

• 提出一种多模态数据集成方法，用于从观察到的时间序列中重建潜在的非线性DS，这些时间序列来自不同分布模型描述的定性不同数据域。期望最大化（EM）和变分推理（VI）方法都是为训练整个系统而开发的。

（3）相关工作

• 相关工作部分讨论了以前对非线性动态系统建模和整合多模态时间序列数据的方法。以前的一些方法，如动态模式分解（DMD）和适当的正交分解（POD），已经被用来识别时间序列数据中的动态模式。其他方法，如稀疏回归和深度学习方法，已被用于建立基础动态模型。本文重点讨论了使用递归神经网络（RNN）来捕捉时间序列数据的时间依赖性，以及使用变异自动编码器（VAE）来学习数据的低维潜在表示。本文还讨论了使用教师强迫（TF）作为控制理论方法来处理在混乱的DS上训练ML模型时的爆炸性损失梯度。在所提出的框架中，这些方法的组合被证明在重建精度方面优于其他方法。

（4）从多模数据进行DS重建的模型框架

• 我们假设我们有几个由相同的未知DS生成的时间序列，并且它们通过其通用时间标签对齐。然后，我们使用足够富有表现力的RNN来推断底层DS。

---

从多模数据进行DS重建的模型框架可以简单概括为以下三个步骤：
（1）生成多模式RNN模型：首先，将不同类型的时间序列数据输入到多模态变分自编码器（MVAE）中，对每个模态进行特征提取和降维。然后，将提取的特征输入到生成多模式RNN模型中，该模型是一种递归神经网络（RNN），可以对动力学系统的时间演化进行建模。

（2）模型训练的期望最大化（EM）：对于多模式RNN模型的训练，采用期望最大化（EM）算法进行优化。在E步中，根据当前模型参数，通过变分推断估计DS的潜在变量分布。在M步中，根据E步中得到的潜在变量分布和数据，通过最大化对数似然函数来更新模型参数。

（3）模型训练的变分推断：在训练期间，采用变分推断（Variational Inference）来估计DS的潜在变量分布。变分推断是一种近似推断方法，它通过优化某个变分目标函数，使得近似分布尽可能接近真实的后验分布。在M步中，变分推断用于优化期望下界，该下界用于最大化对数似然函数。

---

生成多模式RNN模型

• 我们以之前引入的非线性状态空间模型框架（Durstewitz，2017b；Koppe等人，2019年）为基础，并对高斯分段线性（PL）RNN进行建模，以近似未知的DS f（y，t）。该模型还考虑了与时间相关的外部输入和高斯过程噪声。
• 在DS重建的背景下，特定的PLNN结构是有利的，因为它的许多动态属性是可处理的，可以直接转化为ODE的动态等效系统。
• PLRNN连接到不同的观察模型，用于从不同的数据源同时推断潜在过程方程。在我们的示例中，我们将专注于具有高斯时间序列和多类别数据的多模态设置。
• Schmidt等人（2021年）讨论了如何通过正则化（限制模型的特征谱）捕获PLRANN的长期依赖性，以及这如何导致不同的潜在状态在动力学中承担不同的功能角色。
• 我们想通过最大化可能性Z，从一组观测X，C中推断多模PLRNN（mmPLRNN）的参数和单模PLRN（uni-PLRNN）的潜在状态。我们用证据下限（ELBO）取代对数似然。

模型训练的期望最大化（EM）

• 在E步骤中，我们假设底层DS本身是在（可伸缩）PLNN方程中建模的。这是一种与储层计算（RC）截然不同的动力学方法。
• 该模式可用于近似E[Z | X，C]并解决最大化问题，p（Z | X，C）的协方差矩阵可以通过这个最大化器周围的负逆黑森（Hmax）1近似。
• 由于p（C | Z）中的非高斯项，标准方程（6）不再是分段二次，而是分段凹的，可以通过有效的牛顿-拉夫森（NR）方案来解决。
• 我们假设我们从E步骤中获得了q（Z | X，C）的所有相关时刻，并在此基础上解决最大化问题。对于E[log p(C | Z)]中的项，我们使用詹森不等式（）在对数似然中引入另一个下限。
• 只要分布参数通过自然链接函数连接到潜在状态，NR方案就可以用于解决所有指数家族分布和指数家族模型的总和。

模型训练的变分推断

• PLRNN推理的EM算法已被证明可以有效地处理小型数据集，但缺乏灵活性。多元高斯模型用于近似真实后验，其中均值和协方差矩阵由神经网络参数化。

• 我们使用重新参数化技巧，通过随机梯度变分贝叶斯对变分和生成模型参数进行了联合优化。

5.结果

• 我们在两个专门设计的地面真理系统和实验数据上评估我们的算法，这些数据包括不同大脑区域的同步功能磁共振成像（fMRI）记录和执行工作记忆任务的健康受试者（分类）行为数据。

基准：具有高斯和分类观测的嘈杂或不完整的洛伦兹系统

• 3D-洛伦兹系统由一组方程（32）定义，并添加了高斯动力学（过程）噪声项。使用四阶Runge-Kutta数值积分生成状态轨迹，并通过添加相对大量的高斯观测噪声来模糊。mmPLRNN算法使用一个长度为T = 1000的相对较短的时间序列来推断底层DS，使用M = 15潜在状态。
• 为了评估DS重建的质量，从曾经训练的生成模型中提取了新的潜在状态轨迹，并根据学到的观察模型进行了时间序列观测。
• 我们使用Kullback-Leibler测量来评估真实和模型生成的吸引子几何之间的一致性，并指出来自混沌系统的轨迹不是从完全相同的初始条件开始的指数发散。当mmPLRNN由EM或VI训练时，通过分类数据补充高度嘈杂的轨迹信息，吸引子重建得到了很大改进，即使这些数据没有提供有关动力学的定量信息。
• 在第二个测试案例中，我们发现分类信息也有助于识别混乱的洛伦兹系统。

经验示例：来自神经生理和任务标签数据的DS推断

• 为了在真实数据上探测mmPLRNN，我们使用从人类受试者那里获取的fMRI记录，同时执行简单的工作记忆和控制任务。实验设置的细节在这里并不太重要，在Koppe等人（2014年）中给出，并在Appx中进行了简要总结。B.3.
• 我们首先研究了与只提供BOLD时间序列相比，包含分类信息是否有助于算法产生更好的重建和预测。正如我们的Kullback-Leibler标准所揭示的那样，mmPLRNN产生了明显更好的几何重建。
• mmPLRNN已经学会了生成与真实数据表现出相同主要时间特征的时间序列，因此似乎利用这两种数据模式来实现最佳重建。
• 我们训练了一个模型，该模型可以在遗漏测试数据上仅从BOLD信号中预测行为类标签，其结果与直接在相同的20维BOLD信号向量和相关类标签上训练的各种分类器产生的结果相当。
• 在实践中，我们不会仅仅使用mmPLRNN进行跨模态预测，而是研究观察到的BOLD信号和跨模态链路的动态机制。mmPLRNN振荡器最初预测任务阶段相当好，但随后开始与实验阶段的阶段耗尽。在每个指令阶段开始时将内在的PLRNN振荡器重置为推断的潜在状态，改善了与实验任务阶段的一致性。
• 长期以来，多变量分类器一直用于从fMRI活动中读出感官或认知表征，但像mmPLRNN这样的方法能够更具体地揭示BOLD动力学和心理过程是如何联系在一起的。