搞懂到底怎么做的多头注意力_多头注意力头数如何选择

假设我们有个句子“数学应用题”，每一个字用一个64维的向量表示
也就是下面的每一个有颜色的一条框。

自注意力

我们如何做自注意力呢：
下面几幅图展示了这个过程


不再一个一个展示，假设最终到下面这幅图

因为句子长度是5，所以我们得到的是(5,5)的矩阵。
经过softmax之后，第一行表示的含义就是“数”这个字，对整个句子"数学应用题"的每一个字的相关程度.这一行就可以看成关于数字“数”的权重，然后对整个矩阵加权求和，如下图（为了简便，我没有softmax，知道这个意思就好）

以此类推，就得到了注意力矩阵，形状是(5,64)，如下图右上角矩阵

多头注意力

图中每一行有64维，假设我们要四个头，那么每个头显然是16维度

各个头之间是一起计算各自的注意力的，计算方式就是上面介绍的自注意力的计算方式。
所以我们最终会得到：
四个注意力矩阵，此时我们得到的张量的形状是(4,5,16)

注意虽然每一个头的颜色一样，但矩阵的值肯定是不一样的。最终将四个矩阵拼接，得到的注意力矩阵形状是(5,64)