【大语言模型】使用ChatGLM-6B模型训练自己的数据集_chatglm-6b 增量训练

本项目实现了对于 ChatGLM-6B 模型基于 P-Tuning v2 的微调。P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。

下面以 ADGEN (广告生成) 数据集为例介绍代码的使用方法。

使用ChatGLM-6B训练自己的数据集

1. 安装软件依赖

## 运行微调需要4.27.1版本的`transformers`。除 ChatGLM-6B 的依赖之外，还需要安装以下依赖
!pip install rouge_chinese nltk jieba datasets -i https://mirror.sjtu.edu.cn/pypi/web/simple
1
2

2. 下载数据集

样例数据集地址：Link
ADGEN 数据集任务为根据输入（content）生成一段广告词（summary）。