机器学习第四十一周周报 JTFT

作者：2023面试高手 | 2024-06-08 02:38:17

踩

机器学习第四十一周周报 JTFT

文章目录

week41 JTFT
摘要
Abstract

week41 JTFT

摘要

本周阅读了题为A Joint Time-Frequency Domain Transformer for multivariate time series forecasting的论文。该文提出了一种联合时频域变换器（JTFT）。 JTFT 使用少量可学习频率来利用频域 (FD) 中时间序列数据的稀疏性。此外，JTFT 还包含固定数量的最新数据点，以增强对时域局部关系的学习。这些设计降低了理论复杂性和实际计算量。此外，采用低秩注意力层来有效提取关键的跨渠道依赖关系，这使得 JTFT 超越了仅通过 CI 建模所实现的性能。

Abstract

This week’s weekly newspaper decodes the paper entitled A Joint Time-Frequency Domain Transformer for multivariate time series forecasting. This study propose a Joint Time-Frequency Domain Transformer (JTFT). JTFT leverages the sparsity of time series data in the frequency domain (FD) using a small number of learnable frequencies. Additionally, JTFT incorporates a fixed number of the latest data points to enhance the learning of local relationships in the time domain. These designs reduce both theoretical complexity and
real computation. Furthermore, a low-rank attention layer is employed to efficiently extract crucial cross-channel dependencies, which allows JTFT to go beyond the performance achieved by CI modeling alone.

1. 题目

标题：A Joint Time-Frequency Domain Transformer for multivariate time series forecasting

作者：Yushu Chen a 1, Shengzhuo Liu b, Jinzhe Yang c, Hao Jing d, Wenlai Zhao a 1, Guangwen Yang

发布：Neural Networks Volume 176, August 2024, 106334

链接：https://doi.org/10.1016/j.neunet.2024.106334

源代码链接：https://github.com/rationalspark/JTFT.git

2. Abstract

为了增强 Transformer 模型的长期多元预测性能，同时最大限度地减少计算需求，本文引入了联合时频域Transformer（JTFT）。 JTFT 结合时域和频域表示来进行预测。频域表示有效地提取多尺度依赖性，同时通过利用少量可学习频率来保持稀疏性。同时，时域（TD）表示源自固定数量的最新数据点，加强了局部关系的建模并减轻了非平稳性的影响。重要的是，表示的长度独立于输入序列长度，使 JTFT 能够实现线性计算复杂度。此外，提出了低秩注意力层来有效捕获跨维度依赖性，从而防止因时间和通道建模的纠缠而导致的性能下降。八个真实世界数据集的实验结果表明，JTFT 在预测性能方面优于最先进的基线。

3. 网络架构

3.1 JTFT

初步：多元时间序列预测根据历史数据预测时间序列的未来值。用 $x_1:L = \{x_1,\dots, x_L\}$ 表示输入序列，其中 L 表示回溯窗口（输入长度）。该系列有 D 个通道，第 i 个通道表示为 $x^i = \{x_1^i,\dots, x_L^i\}$ 。待预测的未来值表示为 $x_{L+1:L+T}=\{x_{L+1},\dots,x_{L+T}\}$ ，其中声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】