当前位置:   article > 正文

【AI学习指南】九、PaddlePaddle自然语言处理-PaddleNLP SKEP情感分析定制化训练(万字长文附代码)

skep情感分析

目录

加载预训练模型到指定位置

加载分词器

准备数据集

train.tsv 文件内容示例:

dev.tsv 文件内容示例:

加载本地数据集

读取文件

数据预处理函数

数据处理

设置设备

设置学习率调度器

优化器和损失函数

评估模型

训练模型

保存模型

训练日志

预测函数

加载模型进行预测

完整代码

其他

处理序列分类任务的模型的区别


利用自己的数据训练/微调模型

参考PaddleNLP SKEP情感分析训练示例,完成数据准备和模型训练。

 

加载预训练模型到指定位置

指定了模型的缓存目录cache_dir,从远程服务器加载预训练模型时,PaddleNLP会首先将模型文件下载到这个缓存目录,以便后续可以更快地加载模型,而无需每次都从远程服务器下载。

  1. from paddlenlp.transformers import SkepForSequenceClassification, SkepTokenizer
  2. # 指定模型名称和缓存目录
  3. model_name = "skep_ernie_1.0_large_ch" # 预训练模型的名称
  4. cache_dir = "./paddlenlp/models" # 缓存目录,用于存储下载的模型文件
  5. # num_classes: 两类,0和1,表示消极和积极
  6. # 从指定的预训练模型名称或路径加载模型,并设置分类任务的类别数量
  7. # cache_dir 参数指定
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/1015474
推荐阅读
相关标签
  

闽ICP备14008679号