Hugging face学习笔记

关于使用pipeline，方便，就是task参数有点难记，可以参考下面的文档

https://huggingface.co/docs/transformers/v4.36.1/zh/quicktour

作为个人学习《hugging face自然语言处理详解》一书的笔记

一.准备数据集

1.加载编码工具

2.准备数据集

准备好数据集和编码工具后，要用到dataset.map和dataset.filter函数，dataset.map函数用于给数据编码，filter进行进一步的处理，过滤掉一些无法输入模型的样本。要向这两个函数里面输入构造的函数。

二.定义模型与训练工具

1.加载预训练模型

2.定义评价函数 compute_metrics()根据不同任务自行定义

3.定义训练超参数 TrainingArguments

4.定义训练器 Trainer

数据整理函数

三.训练和测试

1.trainer.evaluate

2.trainer.train