大语言模型之三 ChatGPT训练过程

大语言模型 GPT历史文章中简介的大语言模型的的发展史，并且简要介绍了大语言模型的训练过程，本篇文章详细阐述训练的细节和相关的算法。

2020年后全球互联网大厂、AI创业公司研发了不少AI超大模型（百亿甚至千亿参数），典型代表是NLP领域的GPT-3，LlaMA，视觉领域的DALL*E2，Stable Diffusion以及V-MoE。现有的生成式AI工具大部分基于大厂研发的预训练模型，用针对特定场景的小数据进行Fine-Tune的模式快速迭代。

DALL-E2：DALL-E2是OpenAI在2021年提出的一种图像生成模型，它基于GPT-3的预训练模型，并使用自注意力机制来处理输入图像。DALL-E2可以生成高质量的图像，并且可以根据文本描述来生成图像。

Stable Diffusion：Stable Diffusion是Facebook AI Research在2021年提出的一种图像生成模型，它基于扩散过程和随机微分方程，并使用自注意力机制来处理输入图像。Stable Diffusion可以生成高质量的图像，并且可以进行无监督学习和控制生成图像的样式。

ChatGPT的训练过程分为如下四个步骤：

1.预训练（pretrain）模型是基于海量未人工标注的自监督学习模型，因为从互联网上爬虫的数据并没有经过清洗，因而网络上一些虚假信息、阴谋论、偏见以及常识错误都会被模型训练得到，因而通常称这一阶段的模型为预训练模型；
2.然后用更高质量的数据上微调预训练模型，这些高质量的数据，诸如StackOverflow、Quora、Wikipedia、百度百科以及人类标注等，这使得模型尽量少的输出有害、无用的等内容。
3.然后使用RLHF对模型进一步调节，使其更加符合特定的应用需要。

在上面模型训练的三个步骤中，第一步的预训练（Pretraining)模型占用了绝大多数的算力和数据，根据OpenAI官网数据，InstructGPT在预训练模型阶段占用了98%（https://openai.com/research/instruction-following）的算力和数据。可以将SFT和RLHF视为解锁预训练模型已经具有但用户很难仅通过提示访问的功能。所以第二步的SFT和第三步的RLHF本质上并没有赋予模型新的能力，而是将不好的能力封印起来，把好的、需要的能力解锁出来。

第一阶段 预训练

预训练模型的产物是大语言模型，比如GPT-x (OpenAI), Gopher (DeepMind), LLaMa (Meta)。
语言模型编码了语音的信息，在一个特定的上下文中，不同字/词出现的概率是不一样的，语言模型的任务是预测下一个词。可以把语音模型看成是填词任务，给定提示（Prompt），补充下文。

Prompt (用户输入):今天天气真好，我打算出去逛街，
补充 (语言模型): 去买买衣服和包包。
1
2

这看起来是一件很简单的事情，但确实非常强大的功能，其可以完成翻译、总结、写代码、做算术题、写文案等等，比如给定Prompt：How are you in Chinese is …，语言模型的补全会输出 你好吗，这就是实现了翻译功能。

预训练的数学化的表示

训练数据：未标注低质量数据
数据规模：在写这篇文章时，大语言模型使用的训练数据的token在万亿数量级，按照现在大模型预训练数据集的增速，几年之后网上公开的数据大概率可以被头部企业爬完。到那时数据维度的优势将是私有数据带来的。

• GPT-3（OpenAI）数据集token规模，使用的是0.5万亿，GPT-4未公开
• LlaMA-1（Meta）数据集的token规模在1.4亿，LlaMA-2使用了2万亿token预训练。

公式描述：

• $LL{M}_{\varphi }$：待训练大语言模型，其中$\varphi$是参数，训练的目标是得到交叉熵损失最小的参数集$\varphi$；
• $[T_1,T_2,\dots ,T_V]$：词汇表，训练集中token的总数，GPT-2（OpenAI）的词汇表是50257。LlaMA-1和LlaMA-2的词汇表数量都是32000。
• $V$:是词汇表的大小。对于LlaMA-1/LlaMA-2都是32000。
• $f(x)$:将token映射到其在词汇中的位置，如果token $x$在词汇表的位置为$T_k$, 则$f(x)=k$.
• 对于长度为n的句子$(x_1,x_2,\dots ,x_n)$，按照token拆分成训练模型需要的序列，这会得到n个训练样本。
  • 输入x=$(x_1,x_2,\dots ,x_{i-1})$
  • 预测的词为$x_i$
• 对于每个训练样本$(x,x_i)$:
  • 令 $k=f(x_i)$
  • 模型输出：$LLM(x)=[y_1,y_2,\dots ,y_v]$, ${\sum }_j{y}_j=1$
  • loss为：$CE（x,x_i;\varphi )=-log{y}_k$
• 目标函数：找到参数集$\varphi$使得所有训练样本的loss最小：$CE(\varphi ）=-E_x\log y_k$

阶段二：监督预训练Supervised finetuning (SFT)

为什么需要SFT？

因为预训练模型的任务是预测下一个词，所以如果给预训练模型输入：如何制作椒盐明虾
那么预训练模型可能会输出：
1.？需要什么作料、制作的步骤是怎样的？
2.不油腻，酥脆好吃？
3.详细的配料和制作步骤

实际上第三个详细制作的步骤是我们需要的，SFT的目的是为了提高期望输出的概率。

如何才能提高期望场景（如知识问答、总结摘要、翻译等）获得更好输出的概率呢？因为模型是模仿数据集的，所以在预训练模型的基础上，提供一批特定类型样例让模型再模仿，这就是SFT阶段干的事，SFT阶段的示例是通过(prompt, response)方式给出的，OpenAI称之为调用监督微调行为克隆，InstructGPT的示例SFT示例数据集分布情况如下：

其左边一列显示了不同case的占比情况，右边给出了三种情况的prompt例子。

示例数据集

示例数据集可以由人提供（如OpenAI的InstructGPT和ChatGPT做法），和传统的数据标注不一样，示例提供者由通过测试的具有高学历背景的知识分子组成，InstructGPT prompt中90%人有大学学位，三分之一有硕士学位。其详细人员受教育程度如下：

OpenAI雇佣的40位prompt工程师为InstructGPT创建了1万3千条 (prompt, response) 示例，其中一个例子如下：

OpenAI的方法示例数据集质量很高，但是成本和时间代价也很大。因而也有从互联网上通过启发式过滤对话的方式获得示例。Gopher（DeepMind）就是采用这一方法。
LlaMA-2使用了27,540 条(prompt, response) 示例，这是Meta从第三方数据集百万级的标注中筛选出来的高质量(prompt, response) 示例。

SFT的数学化的表示

• 数据集：(prompt, response)标注的高质量的数据集。
• 数据规模：1万~10万条(prompt, response) 示例
  • InstructGPT：~14万5千，其中13000来自prompt工程师，1500来自用户
  • LLaMA-2 27540条
• 模型输入和输出：
  • 输入：prompt
  • 输出：对应的response
• 训练的loss函数采用交叉熵准则。

阶段三：RLHF

从经验上讲，RLHF与单独的SFT相比显着提高了性能。Anrowpic对此的解释是：“当人们具有易于引出但难以形式化和自动化的复杂直觉时，我们预计人类反馈（HF）比其他技术具有最大的比较优势。”(Bai et al., 2022)

对话是灵活的。给定一个提示，有许多合理的反应，有些比其他的好。演示数据告诉模型对于给定的上下文，哪些反应是合理的，但没有告诉模型反应有多好或多坏。
这个想法是：如果我们有一个评分函数，如果给出一个提示和一个响应，输出一个响应有多好的分数会怎么样？然后我们使用这个评分函数来进一步训练我们的LLM给出高分的回答。这正是RLHF所做的。RLHF由两部分组成：
1.训练奖励模型作为评分函数。
2.优化LLM以生成奖励模型将给出高分的响应。

RM模型

RM模型的任务是给(prompt, response)打分，训练模型以在给定输入上输出分数是ML中非常常见的任务。可以简单地将其构建为分类或回归任务。训练奖励模型的挑战在于获得可信赖的数据。让不同人对相同的回答给出一致的分数是相当困难的。让人比较两个回答并决定哪个更好要容易得多。

因而打标签的过程就是输出(prompt, winning_response, losing_response)对的过程，这被称为数据比较。接下来的问题是只有这些比较数据对，如何训练模型给出具体的分数？

对于InstructGPT，目标是最大(prompt, winning_response）和(prompt, losing_response)之间的分数差异（详见数学公式部分），从这个思想可以看出来在鼓励winning_response回答同时也压制了奖励模型的losing_response类应答。

RM模型可以使用不同的方式初始化，但从SFT模型作为种子似乎可以获得最好的效果，直觉上是，RM至少应该与LLM一样强大，以便能够很好地对LLM的响应进行评分。

RM的数学化的表示

• 数据集：高质量的(prompt, winning_response, losing_response)
• 数据规模：10万~100万条样本，
  • InstructGPT有5万条prompt，每个prompt有4_{9个应答，可以组成6}36对(winning_response, losing_response)。这意味着其数据规模是30万~180万条示例。
  • LlaMA-chat-2除了使用第三方数据，还使用了自建的，和InstructGPT不同的是reponse除了人写，还可以由不同的模型生成。
    
    LlaMA-2 RM训练数据集分布

公式表示：

• $r_{\theta }$:待训练的RM，参数集用$\theta$表示，训练过程的目标是找到参数集$\theta$使得loss在RM数据集上整体最小；
• 训练数据组织格式：
  • $\mathbf{x}$:输入
  • ${\mathbf{y}}_w$:相对较好的模型输出,w 表示 wining response
  • ${\mathbf{y}}_l$:相对较差的模型输出，l表示lossing response
• 对每一个训练样本$(\mathbf{x},{\mathbf{y}}_w,{\mathbf{y}}_l)$：
  • ${\mathbf{S}}_w=r_{\theta }(\mathbf{x},{\mathbf{y}}_w)$:RM模型的wining response得分
  • ${\mathbf{S}}_l=r_{\theta }(\mathbf{x},{\mathbf{y}}_l)$：RM模型的lossing response得分
  • loss值是：$-\log (\sigma (S_w-S_l))$
• 目标函数：找到对所有训练样本loss最小的参数集$\theta$，即$-E_x\log (\sigma (s_w-s_l))$最小

可以进步一看看这个loss函数是如何工作的，令$d=s_w-s_l$，$f(d)=-\log (\sigma (d))$的图如下，对于负的d，loss值将大，这个函数将会使得RM模型为winning response打更高的分数。

使用RM奖励模型微调

在这个阶段，我们将进一步训练SFT模型以生成输出响应，从而最大限度地提高RM的分数。如今，大多数人使用OpenAI在2017年发布的强化学习算法——接近策略优化（Proximal Policy Optimization (PPO)）。

微调是基于SFT模型进行的，InstructGPT论文中给出的步骤如下：

在此过程中，提示是从分布中随机选择的——例如，OpenAI可能会在用户提示中随机选择。这些提示中的每一个都被输入到LLM模型中以获得响应，RM会给响应打分。

训练的过程如下，下图中的Initial Language Model就是SFT模型，而Tuned Language Model则是（RL 策略）模型，相关的loss和梯度迭代如下图中所示：

OpenAI还发现有必要添加一个约束：这个阶段产生的模型不应该偏离SFT阶段（数学上表示为下面目标函数中的KL散度项）和原始预训练模型产生的模型太远。直觉是，对于任何给定的提示，都有许多可能的响应，其中绝大多数是RM从未见过的。对于许多未知的（(prompt, response) 样本，RM可能会错误地给出极高或极低的分数。如果没有这个约束，模型可能会偏向那些得分极高的响应，即使它们可能不是好的响应。

奖励模型微调的数学化的表示

• 这一步骤采用了强化学习方法
  • Action 空间: LLM 词汇使用的token。 采取的动作对应于选择模型输出的token。
  • 观测空间: 所有可能 prompts的分布。
  • 策略: 在给定观察（prompt）的情况下，要采取的所有行动（又生成token）的概率分布。 LLM构成了一个策略，因为它决定了接下来生成token的可能性。
  • 奖励函数: 上述RM模型。

• 训练数据集: 随机选择的prompts
• 数据规模: 1万 - 10万prompts
  • InstructGPT: 4万 prompts

公式表示

• RM：RM模型小节所述模型
• $LL{M}^{SFT}$:从SFT模型小节获得的指令微调模型，给定prompt $\mathbf{x}$，模型输出是应答的概率，在InstructGPT论文中，$LL{M}^{SFT}$用${\pi }^{SFT}$表示。
• $LL{M}_{\varphi }^{RL}$:参数集用$\varphi$表示的强化学习训练模型。
  • 强化学习训练的目标是找到使得RM模型得分最大的参数集$\varphi$
  • 给定prompt $\mathbf{x}$，其输出对应应答的概率分布。
  • 在InstructGPT论文中，$LL{M}_{\varphi }^{RL}$记作${\pi }_{\varphi }^{RL}$
• $\mathbf{x}$: prompt
• $D_{RL}$:RM模型使用的prompt分布
• $D_{pretrain}$:预训练模型的训练数据集分布
  对于每一步训练，从$D_{RL}$中选择一个batch size的样本，记为${\mathbf{x}}_{RL}$，以及从$D_{pretrain}$中选择一个batch size的样本，记为${\mathbf{x}}_{pretrain}$。这两种数据来自不同的样本集，因而目标函数是有区别的。
  1.对于每个RM模型输入${\mathbf{x}}_{RL}$，则使用强化学习模型$LL{M}_{\varphi }^{RL}$得到该prompt下的输出，记为$y\sim LL{M}_{\varphi }^{RL}({\mathbf{x}}_{RL})$，则目标函数按照如下方式计算，
  $$O_1({\mathbf{x}}_{RL},y;\varphi )=RM({\mathbf{x}}_{RL},y)-\beta \log \frac{LL{M}_{\varphi }^{RL}(y|x)}{LL{M}^{SFT}(y|x)}$$
  其中第二项是为了RL模型不要和SFT模型偏离太大而引入的KL散度。
  2.对每一个${\mathbf{x}}_{pretrain}$，目标函数应该是得RM模型在该prompt下输出不应该比预训练模型差：
  $$O_2({\mathbf{x}}_{pretrain};\varphi )=\gamma \log LL{M}_{\varphi }^{RL}({\mathbf{x}}_{pretrain})$$
  最终的目标函数是二者的和，在RL设置中，最大化目标函数。
  $$objective(\varphi )=E_{x\sim D_{RL}}{E}_{y\sim LL{M}_{\varphi }^{RL}(x)}[RM(x,y)-\beta \log \frac{LL{M}_{\varphi }^{RL}(y|x)}{LL{M}^{SFT}(y|x)]}+\gamma E_x\sim D_{pretrain}\log LL{M}_{\varphi }^{RL}(x)$$

与之一样意义的InstructGPT文章的目标函数写法是：

大语言模型虚构生成内容

我发现有两种假说可以解释LLM产生构生成内容：

Pedro A.Ortega等人于2021年10月在DeepMind首次提出的第一个假设是，LLM虚构生成是因为他们“对自己行为的因果缺乏了解”（当时，DeepMind将“妄想”一词用于“幻觉”）。他们表明，这可以通过将反应产生视为因果干预来解决。

第二种假设是，虚构生成是由LLM的内部知识和贴标者的内部知识不匹配引起的。OpenAI联合创始人兼PPO作者John Schulman在加州大学伯克利分校的演讲中（2023年4月）提出，行为克隆会导致虚假生成。在SFT期间，LLM被训练成模仿人类写的反应。如果我们用我们所掌握但LLM所没有的知识做出回应，我们就是在教LLM虚构。

2021年12月，另一位OpenAI员工Leo Gao也很好地阐述了这一观点。理论上，人类标注者可以在每次提示时包括他们所知道的所有上下文，以教导模型只使用现有知识。然而，这在实践中是不可能的。

舒尔曼认为，LLM知道他们是否知道一些事情，这意味着如果我们找到一种方法迫使LLM只给出包含他们知道的信息的答案，虚构就可以得到解决。然后他提出了几个解决方案。

1. 验证：要求LLM解释（检索）它从哪里得到答案的来源。
2. 强化学习。RM模型只使用比较进行训练：反应A比反应B好，没有任何关于A好多少或为什么好的信息。舒尔曼认为，我们可以通过拥有更好的奖励功能来解决幻觉，例如，惩罚一个虚构的模型。

2023年4月舒尔曼给出的RL方法解决虚构的观点截屏如下：

然而，InstructGPT的论文表明RLHF实际上使虚构更加严重。如下图所示：