域偏移下的小样本学习：用于瞬态转速变化下故障诊断的时间序列注意力对比校准Transformer

0 写在前面

本文是对智能故障诊断领域文章 Few-shot learning under domain shift: Attentional contrastive calibrated transformer of time series for fault diagnosis under sharp speed variation 的解读与推荐。

关键词：故障诊断，瞬变工况，Transformer，小样本学习

文献信息

S. Liu, J. Chen, S. He, Z. Shi, and Z. Zhou, “Few-shot learning under domain shift: Attentional contrastive calibrated transformer of time series for fault diagnosis under sharp speed variation,” Mech. Syst. Sig. Process., vol. 189, p. 110071, Apr. 2023, doi: 10.1016/j.ymssp.2022.110071.

亮点与贡献

（1）探究了Transformer（编码模块）架构更多的工程应用可能性：在不考虑跨域解缠的情况下，提出了一种适用于小样本域偏移故障诊断的时间序列Transformer。我们强调，所提出的方法简单地配备了一般的技巧，但即使在瞬态转速变化下，很少的训练样本也产生出色的故障诊断性能。
（2）开发了Transformer架构的灵活可操作性：Transformer在CV、NLP领域往往需要大量数据以及强大算力支撑，但本文证明了其一般化形式在小样本场景中也可以获取不错的效果。本文发表前，Transformer架构也有用于诊断相关工作，但仍用于时频图等图像，且多用海量数据训练，没有跳脱CV、NLP传统应用思维限制。本文魔改直接用于时序数据，相比图像数据，对算力要求更低。
（3）提供了一种Transformer架构work的理论假设：核心是Vision Transformer（ViT）中的patch embedding操作，这一操作原本是图片数据仿照NLP中的词向量嵌入（一个完整句子划分为若干单词，每个单词进行向量嵌入）。图片数据天然就是一整个，不像若干单词组成的句子。怎么办？人为切割！划分为$n\times n$的格式不就行了嘛。然后每个划分出来的单元再嵌入，剩下运算与经典Transformer嵌入模块大差不差了。ViT由此打通了领域间的数据壁垒，有一统范式的味道了，厉害