NLP中的Attention机制_attention机制 nlp

一 Attention机制

1 Why Attention

• 计算能力的限制：当要记住很多“信息“，模型就要变得更复杂，计算能力是瓶颈。
• 优化算法的限制：RNN中的长距离依赖问题，信息“记忆”能力并不高。

2 Attention理解

Attention机制的实质其实就是一个寻址（addressing）的过程，如上图所示：给定一个和任务相关的查询Query向量 q，通过计算与Key的注意力分布并附加在Value上，从而得到Attention Value，这个过程实际上是Attention机制缓解神经网络模型复杂度的体现：不需要将所有的N个输入信息都输入到神经网络进行计算，只需要从X中选择一些和任务相关的信息输入给神经网络。

更好的理解1：在Youtube上搜索某些视频

• Query：要查询的视频
• Key：数据库中与候选视频相关的一组键（视频标题，说明等）
• Value：数据库中的候选视频

更好的理解2：

• Query：搜索词
• Key：句子中的所有词（包括query，去和query匹配搜寻相关度，故q*k可以决定在句子每个单词上投入多少注意力）
• Value：句子中每个词自身的价值value，将求得的注意力得分与v相乘得到最终每个单词的得分。、

更好的理解3：

图书管（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战相关的书籍。

为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。

二 Attention分类

1 soft Attention

（1）普通模式 （Key=Value=X）

计算步骤：

1. 信息输入：用$X=[x_1,\cdot \cdot \cdot ,x_N]$表示N个输入信息；

2. 注意力分布计算：

   由于
   $${\alpha }_i=\mathrm{softmax}\left(s\left(ke{y}_i,q\right)\right)=\mathrm{softmax}\left(s\left(X_i,q\right)\right)$$
   将${\alpha }_i$称之为注意力分布（概率分布）， $s(X_i,q)$为注意力打分机制，有几种打分机制：

   

3. 信息加权平均：注意力分布${\alpha }_i$表示在给定查询$q$时，输入信息向量$X$中第$i$个信息与查询$q$的相关程度。采用“软性”信息选择机制给出查询所得的结果，就是用加权平均的方式对输入信息进行汇总，得到Attention值：

$$\mathrm{att}(X,q)=\sum _{i=1}^N{\alpha }_i{x}_i$$

（2）键值对模式 （Key!=Value）

计算步骤：

1. 信息输入：用键值对（key-value pair）来表示输入信息，那么N个输入信息就可以表示为$(K,V)=[(k_1,v_1),(k_2,v_2),...,(k_N,v_N)]$，其中"Key"用来计算注意分布${\alpha }_i$，"Value"用来计算聚合信息。

2. 注意力分布计算：

$${\alpha }_i=\mathrm{softmax}\left(s\left(ke{y}_i,q\right)\right)$$

3. 信息加权平均：

   相比普通模式，注意力函数变为：

$$\mathrm{att}((K,V),q)=\sum _{i=1}^N{\alpha }_i{v}_i$$

注意：在NLP中，Key和Value常常都是同一个，即Key = Value。

2 hard Attention

区别：

• 软性注意力，其选择的信息是所有输入信息在注意力分布下的期望。

• 硬性注意力，只关注到某一个位置上的信息

硬性注意力有两种实现方式：

1. 选取最高概率的输入信息
2. 通过在注意力分布式上随机采样的方式实现。

hard Attention缺点：

基于最大采样或随机采样的方式来选择信息。因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练。为了使用反向传播算法，一般使用soft Attention来代替hard Attention。

3 self-Attention

问题：CNN或RNN不能处理序列之间的长距离依赖关系

当使用神经网络来处理一个变长的向量序列时，我们通常可以使用CNN或RNN进行编码来得到一个相同长度的输出向量序列，如图所示：

从上图可以看出，无论CNN或RNN其实都是对变长序列的一种“局部编码”：CNN显然是基于N-gram的局部编码；而对于RNN，由于梯度消失等问题也只能建立短距离依赖。

解决方法：

1. 增加网络的层数，通过一个深层网络来获取远距离的信息交互。
2. 使用全连接网络。
   
   由上图可以看出，全连接网络虽然是一种非常直接的建模远距离依赖的模型， 但是无法处理变长的输入序列。不同的输入长度，其连接权重的大小也是不同的。这时我们就可以利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（self-attention model）。由于自注意力模型的权重是动态生成的，因此可以处理变长的信息序列。

计算步骤：

输入序列：$X=[x_1,\cdot \cdot \cdot ,x_N]$
输出序列：$H=[h_1,\cdot \cdot \cdot ,h_N]$

1. 信息输入：用$X=[x_1,\cdot \cdot \cdot ,x_N]$表示N 个输入信息；通过线性变换得到

   （1）查询向量序列：$Q=W_{Q}X$
   （2）键向量序列：$K=W_{K}X$
   （3）值向量序列：$V=W_{V}X$
   其中$W_Q,W_K,W_V$，分别为可学习的参数矩阵。

   上面的公式可以看出，self-Attention中的Q是对自身（self）输入的变换，而在传统的Attention中，Q来自于外部。

2. 计算输出向量$h_i$：
   h i = att ⁡ ( ( K , V ) , q i ) = ∑ j = 1 N α i j v j = ∑ j = 1 N softmax ⁡ ( s ( k j , q i ) ) v j

   $$\begin{aligned} \mathbf{h}_{i} &=\operatorname{att}\left((K, V), \mathbf{q}_{i}\right) \\ &=\sum_{j=1}^{N} \alpha_{i j} \mathbf{v}_{j} \\ &=\sum_{j=1}^{N} \operatorname{softmax}\left(s\left(\mathbf{k}_{j}, \mathbf{q}_{i}\right)\right) \mathbf{v}_{j} \end{aligned}$$ hi​​=att((K,V),qi​)=j=1∑N​αij​vj​=j=1∑N​softmax(s(kj​,qi​))vj​​
   其中$i,j\in [1,N]$为输出和输入向量序列的位置，连接权重${\alpha }_{ij}$由注意力机制动态生成。

   自注意力模型中，通常使用缩放点积来作为注意力打分函数，输出向量序列可以写为：
   $$H=V\mathrm{softmax}\left(\frac{K^{T}Q}{\sqrt{d_k}}\right)$$

拆解：

1. 为每个向量计算自注意力得分，分数决定当我们在某个位置对单词进行编码时，要在输入句子的其他部分上投入多少注意力：$score=q\cdot k$

2. 为了梯度的稳定，对计算的分数进行 Scale，即除以 $\sqrt{d_k}$ ，原因是如果点乘结果过大，使得经过softmax之后的梯度很小，不利于反向传播

3. 对score施以softmax激活函数，归一化，即$softmax(\frac{q\cdot k}{\sqrt{d_k}})$；

4. softmax乘Value值$v$，得到加权的每个输入向量的评分 $v\cdot softmax(\frac{q\cdot k}{\sqrt{d_k}})$ ；

5. 相加之后得到最终的输出结果： $z=\sum v\cdot softmax(\frac{q\cdot k}{\sqrt{d_k}})$ 。

   

使用矩阵形式表示：

4 multi-head attention

结构如下：

利用多个查询$Q=[q_1,\cdot \cdot \cdot ,q_M]$，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分，然后再进行拼接：
$$\mathrm{att}((K,V),Q)=\mathrm{att}\left((K,V),{\mathbf{q}}_1\right)\oplus \cdots \oplus \mathrm{att}\left((K,V),{\mathbf{q}}_M\right)$$

“多头”注意力的机制通过两种方式提高attention layer的性能：

1. 它扩展了模型专注于不同位置的能力。
2. 它为attention layer提供了多个“表示子空间”。

我们重复8次相似的操作，得到8个$Z_i$矩阵：

前馈层不期望有八个矩阵–它期望一个矩阵（每个单词一个向量）。因此，我们需要一种将这八个压缩为单个矩阵的方法，即合并矩阵并乘以一个线性$W_0$，得到最终的$Z$：

在示例句中对单词“ it”进行编码时，不同的注意头所关注的位置：

当我们对“ it”一词进行编码时，一个注意力集中在“animal”上，而另一个则集中在“tired”上——从某种意义上说，模型对 "it"这个词的表征烘托了 "animal"和"tired"的一些表征。

Reference

1. Self-Attention手动推导及实现

2. nlp中的Attention注意力机制+Transformer详解

3. 细讲 | Attention Is All You Need