ChatGLM论文解读

GLM

GLM: General Language Model Pretraining with Autoregressive Blank Infilling
论文地址

1. 背景介绍

1）主流预训练框架

2）GLM目标

通用语言模型，基于自回归空白填充的预训练框架，结合了自编码和自回归预训练的优点，能够在自然语言理解、有条件生成和无条件生成任务中取得显著的性能提升。
主要的设计点在span shuffling 和 2D positional encoding。并将 NLU 任务重构为模仿人类语言的完型填空题。通过改变缺失跨度的数量和长度，自回归空白填充目标可以为有条件和无条件生成任务预训练语言模型。

2.GLM设计

1）训练目标

自回归空白填空
对于给定的文本输入$x=[x_1,x_2,...,x{]}_n$ ，采样span { s 1 , s 2 , . . . , s m } \{s_1, s_2, ...,s_m\} {s1​,s2​,...,sm​} ，每个span $s_i$对应一系列连续的token { s i , 1 , . . . , s i , l i } \{s_{i,1},...,s_{i,l_i}\} {si,1​,...,si,li​​}。将每个span替换成，形成新的损坏文本 $x_{corrupt}$，模型通过自回归的方式预测空白格。为了完全捕捉不同span之间的相互依赖性，随机排列span的顺序，类似于permutation language model[8]。
$Z_m$表示长度为m的索引句子的所有可能扰乱集合，$s_{z<i}$表示$[s_{z_1},...,s_{z<i}]$
训练目标就是：

对于每个span，从左到右生成单词$s_i$，span 分解为：

2) Mask构造

• 对于一个输入的文本$x$，将其划分成两部分，一部分就是损坏文本 $x_{corrupt}$，记为Part A；另一部分就是mask起来的span组成，并且回进行扰乱。记为Part B。
• Part A的token可以跟同Part里面相互关联，但是不能跟PartB关联，Part B的token可以关联的和Part B前面的内容，但不能关联Part B任何后续的token。Part B里面每个span都以[S]作为输入，并附加[E]作为输出
• 2D位置编码，每个token有两个位置编码
  • 第一个是表示在损坏句子中的位置，对于被掩盖的跨度，它是相应 [MASK] 标记的位置。
  • 第二个位置编码表示跨度内的位置。对于Part A 中的token，它们的第二个位置 id 为 0。对于Part B 中的token，它们的范围从 1 到span的长度。
  • 通过可学习的嵌入表将两个位置 id 投影到两个向量上，这两个向量都添加到输入标记嵌入中。
  • 优点是模型对Mask里单词的长度不敏感。
• 这种方式下，Part A就是双向的encoder，Part B就是单向的decoder
  

3) 模型结构

使用transformer的编码器，并做了一些改进：

• 修改LN和ResNet顺序，可以避免数值错误
• 对于token的预测输出用的是单个的线性层
• 将激活函数由ReLU改为GeLUs

4） 微调GLM适应NLU任务

分类任务

给定一个标注样本$(x,y)$,我们将输入文本$x$通过模板转化为有一个[MASK]字符填空问题。标签$y$也映射到了填空问题的答案$v(y)$ 。模型预测不同答案的概率对应了预测不同类别的概率。

文本生成

针对文本生成任务，直接将GLM作为一个自回归模型的应用。比如： 给定的上下文构成输入的Part A，在结尾附上一个[MASK]字符，模型用自回归的方式去生成Part B的内容。

3 模型对比