当前位置:   article > 正文

NLP 新宠 prompt_promopt

promopt

0. NLP 的四种范式

最近几年,有人将近代 NLP 技术的发展总结为四种范式,他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练,精调范式 (Pre-train, Fine-tune)
P4. 预训练,提示,预测范式 (Pre-train, Prompt, Predict)

在不同范式变迁过程中,我们可以发现一些规律,比如:

规律1: 每个范式都会涉及繁琐的,需要人来参与(提供先验)的工程(engineering)
  • P1 特征工程(Feature Engineering):进行“无聊”的特征模版定义环节
  • P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力,但是也需要人工去设计合适网络结构。
  • P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上,以便让其更适配下游任务。
  • P4 Prompt挖掘工程:这个过程往往不对预训练语言模型做太多改动,而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义
规律2: 新范式带来的收益可以让我们暂时“忽略”额外需要的人力代
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/316974
推荐阅读
相关标签
  

闽ICP备14008679号