当前位置:   article > 正文

几个nlp的小项目(文本分类)_mamba文本分类

mamba文本分类

导入加载数据类、评测类

load_dataset: 加载数据集
load_metric:加载评测类

在这里插入图片描述

查看数据集

在这里插入图片描述

精确展示数据

在这里插入图片描述

测评方法

传入 预测值和具体值

在这里插入图片描述

设置参数

task: 选择的任务,可加载数据集
model_checkpoint: 设置加载模型的名称
batch_size: 批量大小

在这里插入图片描述

distilbert-base-uncased模型介绍
在这里插入图片描述

tokenizer,token化的解释

数据喂入模型前,首先要对数据进行预处理操作。
预处理工具为:Tokenizer。 (Tokenizer首先对输入进行tokenize,然后将tokens转化为预模型中需要对应的token ID,再转化为模型需要的输入格式。)

在这里插入图片描述

对数据集进行预处理

在这里插入图片描述

加载预训练模型进行训练

在这里插入图片描述

设置训练模型的参数

在这里插入图片描述

一个根据任务名获取,测评方法的函数

在这里插入图片描述
在这里插入图片描述

创建预训练模型

在这里插入图片描述

开始训练

在这里插入图片描述

本项目的工作完成了什么任务?

判断了 某个句子的语法是否正确,根据label进行反向传播训练!

在这里插入图片描述

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/722854
推荐阅读
相关标签
  

闽ICP备14008679号