【论文阅读】基于深度学习的时序异常检测——Anomaly Transformer_transformer轻量化时序异常检测

系列文章链接
数据解读参考：数据基础：多维时序数据集简介
论文一：2022 Anomaly Transformer：异常分数预测
论文二：2022 TransAD：异常分数预测
论文三：2023 TimesNet：基于卷积的多任务模型

论文链接：Anomaly Transformer.pdf
代码链接：https://github.com/thuml/Anomaly-Transformer
视频讲解（原作者禁止转载，联系的话侵删）：https://www.bilibili.com/video/BV1CN4y1A7x6/?spm_id_from=333.337.search-card.all.click&vd_source=c912801c215d811162cae4db751b0768

本文是清华大学研究生提出的一种异常检测模型，是基于transformer针对时序数据进行编码的方案，整体方案让人耳目一新。

本文的创新点总结：

1. 提出了Anomaly-Attention模块，该模块有两大亮点：
   2.1 prior-association：如下图上半部分所示，采用高斯分布去拟合样本时间点位和邻近点位的数据分布，通过调整参数$\sigma$得到高斯先验分布，更注重局部数据分布，$l$层的高斯分布计算表示为：$$P^l=Rescale([\frac{1}{\sqrt{2\pi {\sigma }_i}}exp(-\frac{|j-i{|}^2}{2{\sigma }_i^2}){]}_{i,j\in 1,2,...,N})$$
   
   2.2 series-association：采用transformer中的注意力机制进行时序数据建模，拟合上下文点位和目标样本点位间的权重关系，用于表示点位和更大范围内的上下文数据间的关联性，更注重较大范围内的信息，如上图下半部分所示，$l$层的注意力关联计算为：$$S^l=softmax(\frac{Q{K}^T}{\sqrt{d_{model}}})$$正如上图右边所示，对于正常点位而言，其对应临近点高斯分布和上下文注意力分布之间差距会更大，因为正常点位与上下文时序数据间关联更大；对于异常点位而言，它和邻近点位以及上下文时序数据的关联性较小，属于比较离群的状态，因此异常点位的两种分布差异很小；可以通过这种差异性来区分正常点位和异常点位（
   声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/355971