Transformer Encoder你真的懂了吗？

1. position enconding(位置编码)

由于transformer模型没有循环神经网络的迭代操作，所以我们必须提供每个字的位置信息给transformer，才能识别出语言中的顺序关系。

现在定义一个位置嵌入的概念，也就是position encoding，位置嵌入的维度为[max_sequence_length,embedding_dimension]，嵌入的维度同词向量的维度。max_sequence_length属于超参数，指的是限定的最大单个句子长度。
注意：我们一般以字为单位训练transformer模型，也就是说我们不用分词了。首先我们要初始化字向量为[vocab_size,embedding_dimension]，vocab_size为总共的字库数量，embedding_dimension为字向量的维度，也就是每个字的数学表达。
论文中使用sine和cosine函数的线性变换来提供给模型位置信息：
$$\begin{gathered} P{E}_{(pos,2i)}=sin(pos/10000^{2i/d_{model}}) \\ P{E}_{(pos,2i+1)}=cos(pos/10000^{2i/d_{model}}) \end{gathered}$$

• pos指的是句子中字的位置，取值范围是[0,max_sequence_length)。
• $i$指的是词向量的维度，取值范围是[0,embedding_dimension)。
• 上面的sin和cos一组公式，也就是对应着embedding_dimension维度的一组奇数和偶数的序号的维度。

2. self attention mechanism(自注意力机制)

attention mask

注意：在上面self attention的计算过程中，我们通常使用mini batch来计算，也就是一次计算多句话，也就是X的维度是[batch_size,sequence_length]，sequence_length是句长，而一个mini batch是由多个不等长的句子组成，我们就需要按照这个mini batch中最大的句长对剩余的句子进行补齐长度，我们一般使用0进行填充，这个过程叫padding。
但这时在进行softmax的时候会产生问题：
$softmax=\frac{e^{x_i}}{{\sum }_{j=1}^K{e}^{z_j}}$，$e^0$是1，是有值的，这样的话softmax中被padding的部分就参与了运算，这就等于是让无效的部分参与了运算，会有很大的隐患，这时就需要一个mask让这些无效区域不参与运算，我们一般给无效区域加一个很大的负数的偏置，也就是：
$$\begin{gathered} z_{illegal}=z_{illegal}+bia{s}_{illegal} \\ bia{s}_{illegal}\to -\infty \\ {e}^{z_{illegal}}\to 0 \end{gathered}$$
经过上式的masking，我们使无效区域经过softmax计算之后还几乎为0，这样就避免了无效区域参与计算。

3. layer normalization和残差连接

1)残差连接

我们在上一步得到了经过注意力矩阵加权之后的V，也就是Attention(Q,K,V)，我们对它进行一下转置，使其和$X_{embedding}$的维度一致，也就是batch_size,sequence_length,embedding_dimension，然后把他们加起来做残差连接，直接进行元素相加，因为他们的维度一致：
$X_{embedding}+Attention(Q,K,V)$
在之后的运算里，每经过一个模块的运算，都要把运算之前的值和运算之后的值相加，从而得到残差连接，训练的时候可以使梯度直接走捷径反传到最初始层：
$X+SubLayer(X)$

2) Layer Normalization

Layer Normalization的作用是把神经网络中隐藏层归一化为标准正太分布，也就是独立同分布，以起到加快训练速度，加速收敛的作用：
${\mu }_i=\frac{1}{m}{\sum }_{i=1}^m{x}_{ij}$
上式中以矩阵的行(row)为单位求均值；
${\sigma }_j^2=\frac{1}{m}{\sum }_{i=1}^m(x_{ij}-{\mu }_i{)}^2$
上式中以矩阵的行(row)为单位求方差；
$LayerNorm(x)=a\odot \frac{x_{ij}-{\mu }_i}{\sqrt{{\sigma }_i^2}+ϵ}+\beta$
然后用每一行的每一个元素减去这行的均值，再除以这行的标准差，从而得到归一化的数值，$ϵ$是为了防止除以0；之后引入两个可训练参数$\alpha ,\beta$来弥补归一化的过程中损失掉的信息，注意⊙表示元素相乘而不是点积，我们一般初始化为$\alpha$为全1，而$\beta$为全0。

4. transformer encoder整体结构

经过上面3个步骤, 我们已经基本了解到了transformer编码器的主要构成部分，下面用公式把一个transformer block的计算过程整理一下：

1) 字向量与位置编码

$$\begin{gathered} X=EmbeddingLookup(X)+PositionEncoding \\ X\in R^{batch\_size\ast seq\_len\ast embed\_dim} \end{gathered}$$

2) 自注意力机制

$$\begin{gathered} Q=Linear(X)=X{W}_Q \\ K=Linear(X)=X{W}_K \\ V=Linear(X)=X{W}_V \\ {X}_{attention}=SelfAttention(Q,K,V) \end{gathered}$$

3) 残差连接与Layer Normalization

$$\begin{gathered} X_{attention}=X+X_{attention} \\ {X}_{attention}=LayerNorm(X_{a}ttention) \end{gathered}$$

4) Feed Forward(其实就是两层线性映射并用激活函数激活，比如说ReLU)

$x_{hidden}=Activate(Linear(Linear(X_{attention})))$

5) 重复3)

$$\begin{gathered} X_{hidden}=X_{attention}+X_{hidden} \\ {X}_{hidden}=LayerNorm(X_{hidden}) \\ {X}_{hidden}\in R^{batch\_size\ast seq\_len\ast embed\_dim} \end{gathered}$$