第七篇-Tesla P40+ChatGLM2+P-Tuning_tesla p40 微调 chatglm

本文目的

本文仅仅是测试一下ptuning技术方案，使用少量数据测试下微调流程
1

环境

  系统：CentOS-7
  CPU: 14C28T
  显卡：Tesla P40 24G
  驱动: 515
  CUDA: 11.7
  cuDNN: 8.9.2.26
1
2
3
4
5
6

模型文件

https://huggingface.co/THUDM/chatglm2-6b
下载模型相关文件到自己目录
我的是/models/chatglm2-6b

[root@ai-server chatglm2-6b]# pwd
/models/chatglm2-6b
[root@ai-server chatglm2-6b]# ll -h
total 12G
-rw-r--r--. 1 root root   678 Jul 29 09:30 cli.py
-rw-r--r--. 1 root root  1.2K Jul 29 09:30 config.json
-rw-r--r--. 1 root root  2.2K Jul 29 09:30 configuration_chatglm.py
-rw-r--r--. 1 root root   50K Jul 29 09:30 modeling_chatglm.py
-rw-r--r--. 1 root root  4.1K Jul 29 09:30 MODEL_LICENSE.txt
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00001-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00002-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00003-of-00007.bin
-rw-r--r--. 1 root root  1.7G Jul 29 09:33 pytorch_model-00004-of-00007.bin
-rw-r--r--. 1 root root  1.9G Jul 29 09:33 pytorch_model-00005-of-00007.bin
-rw-r--r--. 1 root root  1.8G Jul 29 09:33 pytorch_model-00006-of-00007.bin
-rw-r--r--. 1 root root 1005M Jul 29 09:32 pytorch_model-00007-of-00007.bin
-rw-r--r--. 1 root root   20K Jul 29 09:30 pytorch_model.bin.index.json
-rw-r--r--. 1 root root   15K Jul 29 09:30 quantization.py
-rw-r--r--. 1 root root   348 Jul 29 09:30 README-env.md
-rw-r--r--. 1 root root  7.9K Jul 29 09:30 README.md
-rw-r--r--. 1 root root  9.9K Jul 29 09:30 tokenization_chatglm.py
-rw-r--r--. 1 root root   244 Jul 29 09:30 tokenizer_config.json
-rw-r--r--. 1 root root  995K Jul 29 09:30 tokenizer.model
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

创建环境安

conda create --name glm2 python=3.10
conda activate glm2
1
2

下载代码工程

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
1
2

安装依赖

pip install rouge_chinese nltk jieba datasets  -i https://pypi.tuna.tsinghua.edu.cn/simple
1

准备训练数据

参考数据

data/train.json 文章开头【自我意识-训练数据train.json】
可以替换【AI小木】【小吕】来构建你自己的自我认识数据集
1
2
3
4

一定注意数据中格式，符号中英文等等

data/dev.json
我使用和train.json一致，正式使用是要使用真实数据
1
2

调整代码

cd ptuning
1

修改 train.sh
    --train_file data/train.json \
    --validation_file data/dev.json \
    --model_name_or_path /models/chatglm2-6b \
    --max_steps 100 \
    --logging_steps 1 \
    --save_steps 50 \
1
2
3
4
5
6
7

开始微调

sh train.sh
1

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 515.65.01    Driver Version: 515.65.01    CUDA Version: 11.7     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla P40           Off  | 00000000:03:00.0 Off |                    0 |
| N/A   78C    P0   196W / 250W |   7845MiB / 23040MiB |    100%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+


{'train_runtime': 2787.9684, 'train_samples_per_second': 0.574, 'train_steps_per_second': 0.036, 'train_loss': 1.142700309753418, 'epoch': 20.0}                                 
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [46:27<00:00, 27.88s/it]***** train metrics *****
  epoch                    =       20.0
  train_loss               =     1.1427
  train_runtime            = 0:46:27.96
  train_samples            =         80
  train_samples_per_second =      0.574
  train_steps_per_second   =      0.036
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

train_loss 要小，如果1,2这种未调出的效果很差

如果调整了数据集，要清理缓存，缓存目录如下
/root/.cache/huggingface/datasets

验证新模型

output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100

命令行验证

vim cli.py

import logging
import os
import sys
import json

import torch
from transformers import AutoConfig, AutoModel, AutoTokenizer

# 载入Tokenizer
tokenizer = AutoTokenizer.from_pretrained("/models/chatglm2-6b", trust_remote_code=True)

config = AutoConfig.from_pretrained("/models/chatglm2-6b", trust_remote_code=True, pre_seq_len=128)
model = AutoModel.from_pretrained("/models/chatglm2-6b", config=config, trust_remote_code=True)
prefix_state_dict = torch.load(os.path.join("./output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100", "pytorch_model.bin"))
new_prefix_state_dict = {}
for k, v in prefix_state_dict.items():
    if k.startswith("transformer.prefix_encoder."):
        new_prefix_state_dict[k[len("transformer.prefix_encoder."):]] = v
model.transformer.prefix_encoder.load_state_dict(new_prefix_state_dict)

# 之后根据需求可以进行量化
# Comment out the following line if you don't use quantization
#model = model.quantize(4)
model = model.half().cuda()
model.transformer.prefix_encoder.float()
model = model.eval()

response, history = model.chat(tokenizer, "你是谁", history=[])

print(response)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

python cli.py

Web验证

cat web_demo.sh 
PRE_SEQ_LEN=128

CUDA_VISIBLE_DEVICES=0 python3 web_demo.py \
    --model_name_or_path /models/chatglm2-6b \
    --ptuning_checkpoint output/adgen-chatglm2-6b-pt-128-2e-2/checkpoint-100 \
    --pre_seq_len $PRE_SEQ_LEN
1
2
3
4
5
6
7

注意

web_demo.py
    外网访问
    demo.queue().launch(share=False, inbrowser=True,server_name='0.0.0.0')
1
2
3

sh web_demo.sh 
1

http://192.168.0.0:7860/
1

好，可以体验了