浅谈NLP新范式：Prompt Learning模板学习_prompt mask

Prompt思想简介

引入MASK预训练任务会造成上下游任务不一致的问题，毕竟我们在真实应用时，不会输入一个不完整的句子的。为此我们需要比较多的样本（句子1，正向；句子2，负向；….），来之前的模型进行微调。

为了解决上下游任务不一致的问题，研究者就想尽了各种办法。假定我们在不能改变预训练模型的情况下，上游任务有MASK token，上游任务又不能变（因为重新训练大规模模型代价太大），那我们在下游任务中添加MASK token不就好了嘛，这就是Prompt的一种用法。

例如，现在是一个文本分类场景，我们需要让模型预测”这本书很有趣”这句话是好评还是坏评。

• 传统做法是手动喂给模型一堆标注好的数据，然后去微调模型。
• Prompt的做法是，这本书很有趣，是本[MASK]书，让模型去预测[MASK]这个词，如果是好，说明是好评

因为下游的任务适配了上游的任务，解决了任务不一致的问题，所以往往能够实现few shot甚至是zero shot（即不需要加个head，然后用下游任务带标注的数据集 微调模型了）

Prompt方式可以说是小样本苦难者的福音了，但因为其模版的设计需要较多的人工经验，而且不同模版对模型的结果影响很大。所以Prompt的方式目前还是无法得到广泛的应用。

相关资料

• 视频：数学家是我理想 Prompt Learning（提示/模板学习）
• 文章：【综述】Prompting: 更好地将语言模型应用到NLP任务
• 使用huggingface预训练模型解决80%的nlp问题

Prompt如何模板的构造是一个热点研究方向，感兴趣的同学可以看看下面两篇文章

• https://arxiv.org/pdf/2012.15723.pdf
• https://arxiv.org/pdf/2205.12548.pdf