devbox
黑客灵魂
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

几个nlp的小任务（机器翻译）

作者：黑客灵魂 | 2024-06-20 04:56:01

赞

踩

几个nlp的小任务（机器翻译）

几个nlp的小任务（机器翻译）

安装依赖库

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据集介绍与模型介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

加载数据集

在这里插入图片描述

看一看数据集的样子

在这里插入图片描述

评测测试

在这里插入图片描述

数据预处理

在这里插入图片描述

测试tokenizer

在这里插入图片描述

处理目标特殊的token

在这里插入图片描述

预处理函数

在这里插入图片描述

对数据集的所有数据进行预处理

在这里插入图片描述

微调预训练模型

在这里插入图片描述

设置训练参数

在这里插入图片描述

需要一个数据收集器，把处理好数据喂给模型

在这里插入图片描述

设置评估方法

在这里插入图片描述

参数丢给 trainer，开始训练

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/黑客灵魂/article/detail/738667
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号