基于Prompt的MLM文本分类_prompt learning文本分类

作者：小丑西瓜9 | 2024-04-04 17:18:24

踩

prompt learning文本分类

简介

常规NLP做文本分类时常用Transfer Learning的方式，在预训练bert上加一个分类层，哪个输出节点概率最大则划分到哪一类别。而基于Prompt的MLM文本分类是将文本分类任务转化为MLM（ Masked Language Modeling）任务，通过[MASK]位置的输出来判断类别。
例如通过文本描述判定天气好坏，类别【好、坏】：

常规方式：今天阳光明媚！【好】
基于Prompt的MLM：天气[MASK]，今天阳光明媚！【天气好，今天阳光明媚！】

Prompt的设定可以有多种方式设定，手写Prompt 、自动离散Prompt、自动连续 P-Tuning，自行查找论文

实验

先手写Prompt做个实验：
就以上面

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/360091