【李宏毅 | 深度学习】自注意力机制（Self-attention）_self-attention 的一个主要问题是它可以分配过多的注意力给输入序列中的某个单词

引言

以往我们遇到的深度学习问题中，对于神经网络的输入一般都是一个向量，输出可能是一个类别。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多个向量，又因为不同样本的句子长度不同，所以每次输入的向量的个数也是会改变的。

那么输出会是什么情况呢？
第一种可能性是输入的每个向量都对应了一个输出，输入和输出的长度是一样的。例如输入一句话，让机器判断这句话中的每一个单词的词性，那么此时输入输出的长度就是一样的。
第二种情况是只需要输出一个label。例如文本情感分析，输入一句话让机器判断这句话是正面的还是消极的等等。
第三种情况是，不知道需要多少输出，由机器自己判断输出的数量。例如机器翻译，输入和输出是不同的语言。

本文主要介绍第一种情况的解决方案，这种情况又叫做 Sequence Labeling 。

Sequence Labeling

想要实现输入多个向量，输出同样数目的标签label，有一种解决方案就是FC（Fully-connected，一个神经网络），对于每一个向量执行一次FC，然后输出对应的标签。

但是这样做有很大的弊端。例如在判断词性的例子中，我们将一句话作为一个输入，而一句话由多个单词组成，每个单词都有其对应的向量（向量的生成方式有两种，one-hot encoding 和 word embedding）。我们让每个单词都经过一次FC，得到其对应的词性。但是在上图的例子中，一句话中的两个saw是不同词性的，但是通过相同的网络得到输出没有理由是不一样的，因为输入的向量完全一样。

那么可以考虑这句话的上下文信息，把一个单词的相邻单词也考虑进去。一次输入一个window里面的向量。

但是这样的方法还是有弊端，如果我们有一个任务不是要考虑一个window就可以解决的，而是要考虑整句话才能解决。那么把window设置成一句话的长度可以吗？显然不行，因为我们一开始就说过，每一个输入样本的长度是不定的。那么把window设置成所有样本输入中最长的那个样本的长度可以吗？看似可以，但是这样做会需要学习太多的参数，可能会造成过拟合。那么有什么解决方法呢？这就需要用到本文要介绍的 self-attention 机制。

Self-attention

Self-attention 是怎么应用的呢？ 首先要把一整个句子中的所有向量都经过 Self-attention，输入几个向量，就输出几个向量。得到的输出向量都考虑了整个句子的所有上下文信息。然后再将考虑了整句话信息的向量作为输入，进行FC得到对应的输出标签。

Self-attention 是怎么运作的呢？
首先 Self-attention 的输入是多个向量，这些向量可能是一整个神经网络的输入，也可能是某个隐藏层的输出，所以在这里用 $a$ 来表示输入。输出的向量用 $b$ 来表示，每一个 $b$ 都是考虑了所有的 $a$ 而生成的。下面我们介绍 $b$ 是如何产生的，以 $b^1$ 为例。

首先我们要根据 $a^1$ 找到整句话中和 $a^1$ 相关的其它向量。每一个相关的向量和 $a^1$ 的关联程度用一个数值 $\alpha$ 来表示。

那么我们怎么找到其它向量和 $a^1$ 之间的关联性呢？我们使用 Dot-product 的计算方式得到 $\alpha$ 。将两个向量作为输入，分别乘一个矩阵后得到两个新的矩阵 $q和k$，然后$q和k$做内积，得到一个数值就是 $\alpha$。

那么我们现在将这种得到 $\alpha$ 方式运用到我们的 self-attention 中。对于 $a^1$ ，我们要对它分别和 $a^2$ $a^3$ $a^4$ 计算关联性。首先 $a^1$ 乘上 $W^q$ 得到 $q^1$ 向量，$q^1$ 有个名字叫做 query。接下来 $a^2$ $a^3$ $a^4$ 都要乘上 $W^k$ 得到 $k$ 向量，$k$ 有个名字叫做 key。$q和k$ 做内积就得到了 $alpha$， $alpha$ 又叫做 attention score。${\alpha }_{1,2}$ 就表示 $a^1$ 和 $a^2$之间的 attention score。

在实际操作中， $a^1$ 也要和自己计算关联性，也要将 $a^1$ 乘上 $W^k$ 得到 $k^1$ ，然后去计算自己的关联性。

计算出 $a^1$ 和所有向量之间的关联性之后，接下来要做一个 soft-max，得到 ${\alpha }^{\prime }$。

然后我们根据 ${\alpha }^{\prime }$ 抽取出这句话中的重要信息。我们将输入的每个向量先乘一个矩阵 $W^v$ 得到新的向量 $v$，然后再对每个 $v$ 乘上对应的 ${\alpha }^{\prime }$ 再加起来就得到了向量 $b_1$。

根据上面的介绍，我们会想象到，如果 $a^1$ 和 $a^2$ 的关联性比较强，${\alpha }_{1,2}^{{}^{\prime }}$ 得到的值比较大，那么最终得到的 $b^1$ 的值就可能会比较接近 $a^2$ 。

矩阵乘法

现在我们通过矩阵乘法的角度来看一看 self-attention 是怎样运作的。

第一步，以 $q$ 为例，因为每个 $a^i$ 都是乘一个矩阵得到对应的 $q^i$，$q^i=W^q{a}^i$。我们把 $a^i$ 拼接起来看作是一个矩阵 $I$，矩阵 $I$ 的每一列就是 self-attention 的每一个输入，然后对 $I$左乘矩阵 $W^q$，得到矩阵 $Q$， $Q$ 的每一列就是 $q^i$ 。同理，我们可以得到 $K,V$。

第二步，计算 attention score。我们把 $k^i$ 拼接起来看作一个矩阵 $K^T$，每个 $k^i$ 当作这个矩阵的一行，然后乘上矩阵 $q^1$，就得到了一个矩阵，这个矩阵的每一行就是 $a^1$ 的每一个与之关联的 attention score。

同理， $a^2,a^3,a^4$ 也要计算 attention score，我们把 $q^i$ 当作一个矩阵的列拼接成一个矩阵 $Q$。 $Q$ 左乘 $K^T$ 就得到了所有输入向量的 attention score，表示成矩阵 $A$，然后对 $A$ 的每一列做 soft-max。

第三步，我们计算输出。我们把 $v^i$ 拼接起来成矩阵 $V$，然后乘上矩阵 $A^{\prime }$，得到输出矩阵 $O$。

综上，self-attention 的运作机制其实就是一连串的矩阵乘法。在这一系列矩阵中，只有矩阵$W^q,W^k,W^v$是未知的，是需要通过训练学习的参数。

Muti-head Self-attention（多头注意力机制）

以 2 heads 为例，先把输入向量 $a$ 乘以一个矩阵得到 $q$，再把 $q$ 乘以两个不同的矩阵得到两个不同的 $q$，这两个 $q$ 用来表示两种不同的相关性。$q$ 有两个，对应的 $k和v$ 也都有两个。 然后分别计算得到 $b^{i,1}，b^{i,2}$。

把 $b^{i,1}，b^{i,2}$ 拼接起来，左乘一个矩阵，得到 $b^i$。