Transformer 是如何工作的：600 行 Python 代码实现两个（文本分类+文本生成）Transformer（2019_基于transformer的文本分类

本文整理和翻译自 2019 年（最后更新 2023 年）的一篇文章： Transformers From Scratch。

如果对 transformer 的使用场景和所处位置还不清楚，可以先看一下这篇：

• GPT 是如何工作的：200 行 Python 代码实现一个极简 GPT（2023）

理解本文大部分内容只需要基本的高数知识（矩阵乘法）。 原文代码见这里，不过训练代码用到的一些库更新非常快， 因此跑起来可能有点困难。有兴趣有时间的可以考虑基于较新版本的库重构一下 self-attention/transformer 及训练代码。

译者水平有限，不免存在遗漏或错误之处。如有疑问，敬请查阅原文。

以下是译文。

• 译者序
• 摘要
• 1 self-attention（自注意力）模型
  • 1.0 Attention（注意力）：名字由来
  • 1.1 输入输出：vector-to-vector 运算
  • 1.2 权重矩阵计算和归一化
  • 1.3 直观展示与小结
• 2 self-attention 为什么有效？以电影推荐为例
  • 2.1 传统推荐系统：特性向量点积用户偏好
  • 2.2 基于 self-attention 的推荐系统
    • 2.2.1 电影特征和用户特征作为模型参数，匹配已知的用户偏好
    • 2.2.2 嵌入层：对输入进行处理
    • 2.2.3 直观解释
    • 2.2.4 self-attention 特殊属性
• 3. 实现一个基本的 self-attention
  • 3.1 输入的表示：tensor（多维矩阵）
  • 3.2 计算权重矩阵：输入矩阵 * 转置矩阵
  • 3.3 计算输出
  • 3.4 现代 transformer 对 self-attention 的扩展
    • 3.4.1 引入控制参数（for queries, keys and values）
    • 3.4.2 对点积做缩放处理（scaling the dot product）
    • 3.4.3 引入 multi-head attention
      • 需求：输出中嵌入更多信息
      • 解决方式：引入多个 self-attention（multi-head）
      • 提升 multi-head self-attention 效率：query/key/value 降维
      • 完整工作流
  • 3.5 multi-head vs. single-head 模型参数数量对比
    • 3.5.1 single-head
    • 3.5.2 multi-head
  • 4.4 self-attention 主要代码实现
• 4 基于 multi-head self-attention 实现 transformers
  • 4.1 Transformer 定义
  • 4.2 Transformer block
  • 4.3 文本分类（text classification）transformer
    • 4.3.1 输出：单个分类结果
    • 4.3.2 输入：词序敏感（using the positions）
      • 位置嵌入（position embeddings）
      • 位置编码（position encodings）
    • 4.3.3 基于 Pytorch 实现
  • 4.4 文本生成（text generation）transformer
    • 4.4.1 自回归模型和掩码
    • 4.4.2 训练：基于维基百科数据集 enwik8
    • 4.4.3 文本生成结果分析
  • 4.5 设计考虑：Transformer 与 RNN/卷积 对比
• 5 历史包袱
  • 5.1 为什么叫 self-attention？
  • 5.2 最初的 transformer: encoders and decoders
• 6 现代 transformers
  • 6.1 Google BERT：340M 参数
  • 6.2 OpenAI GPT-2：1.5B 参数
  • 6.3 Transformer-XL
  • 6.4 Sparse transformers
• 7 大型模型优化
  • 7.1 半精度（half precision）
  • 7.2 梯度积累（gradient accumulation）
  • 7.3 梯度 checkpoint（gradient checkpointing）
• 8 结束语
• 参考资料

摘要

Transformer 是一类非常令人着迷的机器学习架构（a family of machine learning architectures）。 之前已经有一些不错的介绍文章（例如 [1, 2]），但过去几年 transformer 变得简单了很多， 因此要解释清楚现代架构（modern architectures）是如何工作的，比以前容易多了。

本文试图丢掉历史包袱，开门见山地解释现代 transformer 的工作原理。

神经网络和反向传播（neural networks and backpropagation）的基本知识有助于更好地理解本文，

• 这个讲座 介绍了神经网络的基础知识；
• 这个讲座 介绍了神经网络如何应用于现代深度学习系统。

另外，理解本文程序需要一点 Pytorch 基础， 但没有关系也不大。

1 self-attention（自注意力）模型

self-attention 运算是所有 transformer 架构的基本运算。

1.0 Attention（注意力）：名字由来

从最简形式上来说，神经网络是一系列对输入进行加权计算，得到一个输出的过程。

具体来说，比如给定一个向量 [1,2,3,4,5] 作为输入，权重矩阵可能是 [0, 0, 0, 0.5, 0.5]， 也就是说最终的 output 实际上只与 input 中的最后两个元素有关系 —— 换句话说， 这一层神经网络只关注最后两个元素（注意力在最后两个元素上）， 其他元素是什么值对结果没有影响 —— 这就是 attention 这一名字的由来。

注意力模型大大降低了神经网络的计算量：经典神经网络是全连接的，而上面的例子中， 这一层神经网络不需要全连接了，每个输出连接到最后两个输入就行了，也就是从 1x5 维降低到了 1x2 维。

图像处理中的卷积神经网络（CNN）也是类似原理：只用一小块图像计算下一层的输出，而不是用整帧图像。

1.1 输入输出：vector-to-vector 运算

Self-attention 是一个 sequence-to-sequence 运算： 输入一个向量序列（a sequence of vectors），输出另一个向量序列。

我们用