学习笔记|NLP中的注意力机制汇总_注意力机制可以用余弦相似度吗

作者：从前慢现在也慢 | 2024-06-24 14:54:38

踩

注意力机制可以用余弦相似度吗

说在前面的话：

前段时间因为组会要对注意力机制做一个报告，我在收集资料的时候发现，网上很多所谓的attention总结无非最后都陷入了对transformer模型和自注意力机制的解释中，其实这并没有对所有的注意力机制类型进行一个详细的总结，这对一个初学者来说很容易陷入一个思维定势中。因此我决定深入剖析各个经典文章中所使用的Attention机制，并对他们进行一个分类总结。可以说这篇文章内容是全网最全的，应该找不到比这个更全的总结了，除了参考一些综述和网上资料，我还根据自己的理解整合并加入了一些新的内容。本文参考的文献和网上资料都会在最后部分给出。

一、Attention的含义

Attention机制的原理来源于人脑中视觉系统通常是有选择性地关注事物的某些部分，而忽略掉无关紧要的部分，从而快速筛选出重要的信息
Attention的计算本质是根据事物之间的关系进行线性加权得到新的表示，这个表示蕴含了各个事物之间的相对重要程度
Attention是一种思想、机制，可以用到很多模型和结构中。常见的应用领域有：机器翻译、文本生成、推荐系统、图像分割、语音识别等
Attention的计算过程类似“检索”的过程，计算方式可以视作某种相似度计算。但与检索不同，检索最终要从检索库中取出与查询向量相似度最高的向量，而注意力计算只是通过计算查询向量与检索库中所有向量之间的相似度获得一个权重向量，进而将这个权重向量应用到原本向量（即线性加权）

随着Transformer的流行，因为transformer使用的是纯自注意力而不借助RNN的结构，所以有越来越多人关注自注意力机制的使用。一开始看这篇论文时，里面提到了qkv这三个向量，一开始其实并不是很明白qkv到底代表什么，在这里将Attention机制与检索进行类比：

假设给定一个要查询的向量表示q，以及对应的检索库 $\left \{ k_i,v_i \right \}_{i=1}^{K}$ ，其中 $v_i$ 是关键字 $k_i$ 对应的评分，那么查询向量q从检索库中检索的计算过程就是： $\sum_{i=1}^{K}sim(q,k_i)v_i$ ，其中 $sim(q,k_i)$ 是计算查询向量q和关键字 $k_i$ 的相似度函数。

二、Attention的可解释性

自2014年Bahdanau将attention作为软对齐引入神经机器翻译以来，大量的自然语言处理工作都将其作为模型中一个提高性能的重要模块，大量的实验表明attention机制是计算高效且效果显著的。Attention的另一个好处就是，attention是解释神经模型内部工作的重要方法之一，因此为了能更好的了解其内在机理来优化模型，现在也有很多研究是针对Attention机制的可解释性的探讨，解释其为什么有效，并且提供证明，这是一个很有价值的研究方向。但是，也有学者对其提出质疑，认为attention机制并不具备可解释性。

人类注意力认知过程是选择性地专注于一件或几件事物而忽略其他事物的认知过程。而注意力机制则是模拟这一过程给予序列数据不同位置不同的权重，通过权重大小突出重要信息和抑制不相关信息。

有一些研究将attention可视化了出来，比如说在目标检测中使用attention，其权重会倾向于要检测的物体本身，在翻译或理解句子时就会把注意力集中到对句子贡献大的词语上，在语音识别中注意力权重会集中到语音频谱集中的波段。这个可视化的结果和我们人类的注意力认知过程是相符合的，因为我们会选择性地将注意力分配到显眼或重要的事物而忽略掉其他事物。