赞
踩
load_dataset: 加载数据集
load_metric:加载评测类
传入 预测值和具体值
task: 选择的任务,可加载数据集
model_checkpoint: 设置加载模型的名称
batch_size: 批量大小
distilbert-base-uncased模型介绍
数据喂入模型前,首先要对数据进行预处理操作。
预处理工具为:Tokenizer。 (Tokenizer首先对输入进行tokenize,然后将tokens转化为预模型中需要对应的token ID,再转化为模型需要的输入格式。)
判断了 某个句子的语法是否正确,根据label进行反向传播训练!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。