赞
踩
文中指出随着时代的发展以及人们需求的增加,对于文本具有不确定数量的标签数,这种任务需求是存在,对于这种多标签文本分类任务,学者们将对于这方面的研究划分成了三个方面:
文中提到一种处理这种多标签任务的方法就是将多标签任务转化为多个二分类任务,有的是使用传统的ML方法来实现的,还有的是使用神经网络的一些模型来实现的,有一种方法是使用CNN的方法来实现这种目标函数,但是这一类方法完全忽略了标签之间的相关性问题,因此可能性能没有达到最好;
同时,也有处理标签相关性的模型,
但是,上面的这些处理标签相关性的方法都没有考虑到label missing的情况,同时也没有考虑模型在一个未知的并且复杂标签空间中构建标签的相关性,这种方式的难度;
文中提出的LP-MTC模型
文章的贡献点:
文中先对于Multi-label text classification进行进一步的形式化定义;
文中在又针对于Prompt Learning又做了进一步的具体分析,并且提出Prompt Learning分为下面的几个步骤:
第一步,针对于不同的任务设计不同的Prompt temple,将原始的输入文本数据 x x x 经过prompt Learning处理之后,得到了新的具有prompt的文本数据 x ′ x' x′ ;这个模版可以是针对于文本数据的前缀prompt,也可以是后缀prompt;
第二步,通过PLM将输入进来的经过prompt处理之后的输入数据 x ′ x' x′ ,通过预测PLM中的词表V中的词作为mask 位置的内容的概率,通过计算词表中的每一个词在这个输入文本 x ′ x' x′ 中的概率最终得到整体V中词到了概率分布;
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。