Bert MLM

作者：很楠不爱3 | 2024-05-07 13:37:10

踩

bert mlm

Bert MLM(masked language model)是一个很有前景的方向，开个帖子记录下相关的发展思路.

MLM小样本学习

这篇论文我没有看，是从苏神的博客学到的，本质上是把MLM应用到文本分类，比如，我们想做一个情感分类，只需要在句子前面加上前缀“——满意”，填充的内容包括“很”和“不”，这样就可以把情感分类转化为mask填充问题。具体的训练称之为Pattern-Exploiting Training，训练方式采用半监督（大量无监督的样本+少量标签样本），效果很可观。
必须要GPT3吗？不，BERT的MLM模型也能小样本学习

MLM文本纠错

MLM人群属性预测

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/549493