CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测

©PaperWeekly 原创 · 作者 | 王馨月

学校 | 四川大学本科生

研究方向 | 自然语言处理

概要

本文针对自然语言处理的新范式——我们称之为“prompt-based 学习”，进行了综述与组织。

论文标题：

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

论文作者：

Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig

论文链接：

https://arxiv.org/abs/2107.13586

区别于传统的监督学习中训练模型接受输入 x 并将输出 y 预测为 P(y|x)，Prompt-based 学习基于直接对文本概率进行建模的语言模型。为了使用这些模型执行预测任务，使用模板将原始输入 x 修改为具有一些未填充槽的文本字符串 prompt  x'，然后使用语言模型对未填充信息进行概率填充以获得最终字符串 x ，从中可以导出最终输出 y。

这个框架强大且有吸引力的原因有很多：它允许语言模型在大量原始文本上进行预训练，并且通过定义一个新的 prompting 函数，模型能够执行少样本甚至零样本学习，可以适应很少或没有标记数据的新场景。

在本文中，我们介绍了这种有发展前途的范式的基础知识，描述了一组统一的数学符号，可以涵盖现有的很多工作；并沿多个维度组织现有工作，例如预训练模型的选择、prompt 和调整策略。为了让感兴趣的初学者更容易接触到该领域，我们不仅对现有工作以及基于 prompt 的概念的高度结构化类型进行了系统综述和，还发布了其他资源，在这个网站中包含了持续更新的综述以及论文列表：

http://pretrain.nlpedia.ai/ 

引言

NLP 的两次巨变

第一次巨变是“pre-train and fine-tune” 范式，第二次巨变则是目前的 “pre-train, prompt, and predict”。如图，是 NLP 中的四种范式。

Prompting 的正式描述

在传统的 NLP 监督学习系统中，我们采用输入 x（通常是文本），并基于模型   预测输出 y。y 可以是标签、文本或其他各种输出。为了学习这个模型的参数