【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept

作者：IT小白 | 2024-04-22 15:47:55

踩

prompt tuning for multi-label text classification: how to link exercises to

论文信息

名称	内容
论文标题	Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
论文地址	https://www.mdpi.com/2076-3417/12/20/10363
研究领域	NLP, 文本分类, 提示学习, 多标签
提出模型	PTMLTC
来源	Applied Sciences

阅读摘要

在这里插入图片描述

如上图，思路很朴实无华。

普通MLM任务使用的损失函数是CrossEntropyLoss，它适用于单标签，代码如下：

masked_lm_loss = None
        if labels is not None:
            loss_fct = CrossEntropyLoss()  # -100 index = padding token
            masked_lm_loss = loss_fct(prediction_scores.view(-1, self.config.vocab_size), labels.view(-1))
1
2
3
4

文章这里使用的是BCEWithLogitsLoss，它适用于多标签分类。即：把[MASK]位置预测到的词表的值进行sigmoid，取指定阈值以上的标签，然后算损失。

个人觉得这样不可取，效果也不会好。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/469296