中科院张家俊：ChatGPT中的提示与指令学习_unified prompt learning makes pre-trained language

内容来源：ChatGPT 及大模型专题研讨会

分享嘉宾：中国科学院自动化研究所研究员 张家俊

分享主题：《ChatGPT中的提示与指令学习》

中国科学院自动化研究所研究员张家俊以ChatGPT中的提示与指令学习为题，从ChatGPT简要技术回顾、迈向通用性的提示学习、从提示学习到指令学习、相关探索与学习等角度和在场听众展开技术分享。大模型主要有两个方向，一个是“预训练+参数微调”，就是大模型有了之后针对下游任务进行微调，然后得到一个面向下游任务的大的模型，二是“预训练+提示学习”，预训练之后不变，用提示学习激发大模型来完成特定的任务。相关实践证明，学习提示对于模型性能提升非常有效，怎样学到或者找到提示语非常关键。下面是分享的详细内容。

ChatGPT简要技术回顾

一、基本介绍

ChatGPT不再仅仅是传统的人机对话系统。而是一个以自然语言为交互方式的通用语言处理平台。它在三个方面有非常优异的表现：首先，它在基础数据、核心模型和优化算法的技术实现上取得了重大突破；其次，它的应用非常接地气，几乎可以完成所有与语言相关的功能；最后，相比于过去的智能对话系统，它的交互体验效果产生了质的飞跃。

而超出预期的交互体验，又可以归功于四个关键能力：通用的意图理解能力、强大的连续对话能力、智能的交互修正能力以及较强的逻辑推理能力。这些能力一直以来对自然语言处理研究者来说属于高难度的任务，因为之前我们只是针对单个任务进行研究。然而随着ChatGPT的诞生和发展，我们现在认识到它可以实现更为复杂的任务。

二、ChatGPT的集成技术组成 

ChatGPT是以产品思维驱动的重大集成创新成果，是OpenAI自2018年以来坚持生成式AI、长期技术积累，量变产生质变的重大成果，是迈向AGI的阶段性成果。

ChatGPT的集成技术主要包含三个方面：

1. 基础模型架构。基础模型架构主要是生成式解码器，来自于Google2017年提出的Transformer[1]。

2. 指令学习。同样来自于谷歌2021年提出的指令学习FLAN[2]。

3. 基于人类反馈的强化学习。强化学习部分是OpenAI成立之后一直在专注的领域，2017年提出了强化学习的算法PPO[3]，在2021年时它在自动摘要任务[4]上表现出非常好的性能，所以直接用到对话的场景上。

三、ChatGPT的基础大模型

ChatGPT的基础模型本质上是一个语言模型。语言模型做的事情，是给定前缀，预测下一个词是什么，或者说计算下一个词的可能性的分布，从中选择一个最优 的。而语言模型的训练过程本质是基于海量数据的自监督学习，通过对大量的文本进行学习。举个例子，对于“人工智能是模拟拓展人类智能的”这句话去预测下一个词是什么时，模型发现历史的文本里面，“人工智能的”后面有四次接了“理论”，三次接了“理论”，两次接了“技术”，所以预测时，模型会以更大的概率把结果预测为“理论”这个词，这个过程有点类似词语接龙。

对于语言模型来说，如果前面的上文历史信息能看得更长，预测就会更准确一些。每个输入的词都是以向量的方式来表示，每个词的表示维度越高，它的语义表示能力就越好。其次，主流的语言模型都是通过深度学习神经网络构建，它的网络层次越深，预测能力就越强。向量的表示维度和网络的层次，是影响参数规模的主要因素，参数规模越大，模型的容量就越高。从2018年-20201年，参数规模从1.17亿到1750亿，模型已经展现出来了巨大的变化，出现了能力涌现的特点。

图 1 ChatGPT基础模型

刚刚提到的能力涌现，意思是某些能力在参数规模较小的模型中不存在，在参数规模较大的模型中存在，则该能力就是涌现的。下图里面思维链的推理、新指令泛化会在100亿到1000亿的参数规模之间产生能力的涌现。

图 2 能力涌现

四、基于海量数据的自监督学习

ChatGPT基于海量数据的自监督学习来构建基础模型，这个过程不是一蹴而就的。在2020年，openAI使用45T文本数据训练得到了基础大模型GPT-3，实现了流畅性和知识性。能力体现上，GPT-3产生的文字流畅性比较高，但是通用任务的处理能力还没那么强。2021年，openAI在GPT-3的基础上&