devbox
黑客灵魂
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

几个nlp的小任务(生成式任务——语言模型(CLM与MLM))_mlm nlp

作者：黑客灵魂 | 2024-06-24 21:58:28

赞

踩

mlm nlp

@TOC

本章节需要用到的类库

在这里插入图片描述

微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）

CLM

在这里插入图片描述

MLM

在这里插入图片描述

准备数据集

在这里插入图片描述

展示几个数据的结构

在这里插入图片描述

介绍因果语言模型（Causal Language Modeling，CLM）

分词后连接文本，再特定序列长度中拆分

在这里插入图片描述

指定一个模型，设置分词器

在这里插入图片描述

数据预处理

在这里插入图片描述

将所有文本连接在一起，然后将结果分割成特定block_size的小块

在这里插入图片描述
在这里插入图片描述

数据已经清理完毕，我们就可以实例化我们的训练器了

在这里插入图片描述

设置args、trainer

在这里插入图片描述

开始训练

在这里插入图片描述

训练结束后，评估模型即可

在这里插入图片描述

掩蔽语言模型（Mask Language Modeling，MLM）

选择模型和分词器

在这里插入图片描述

通过 map 分成batch_size = 1000 的 样本大小

在这里插入图片描述

加载一个合适的语言遮蔽模型

在这里插入图片描述

转为 token时 要随机 mask掉一些 东西

在这里插入图片描述

把所有东西交给 trainer， 然后开始训练

在这里插入图片描述

进行评估

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/754102
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号