NLP 新宠 prompt_promopt

0. NLP 的四种范式

最近几年，有人将近代 NLP 技术的发展总结为四种范式，他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练，精调范式 (Pre-train, Fine-tune)
P4. 预训练，提示，预测范式 (Pre-train, Prompt, Predict)

在不同范式变迁过程中，我们可以发现一些规律，比如：

规律1: 每个范式都会涉及繁琐的，需要人来参与(提供先验)的工程(engineering)

• P1 特征工程(Feature Engineering)：进行“无聊”的特征模版定义环节
• P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力，但是也需要人工去设计合适网络结构。
• P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上，以便让其更适配下游任务。
• P4 Prompt挖掘工程：这个过程往往不对预训练语言模型做太多改动，而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义

规律2: 新范式带来的收益可以让我们暂时“忽略”额外需要的人力代