基 于LLM训 练 ChatGlm3大 模 型 部 署 微 调 教 程_vllm启动微调模型

基 于 LLM 训 练 ChatGlm3 大 模 型 部 署 微 调 教 程

1、 部署环境

windows11 专业版、显卡>=22GB。

2、安装 WSL（Windows Subsystem for Linux）

wsl 是一项由微软开发的功能，允许在 Windows 操作系统上运行 Linux。

2.1、启动虚拟机平台功能

①在开始菜单中搜索 powershell、Windows Powershell 或 pwsh（pwsh 需要手动 安装），点击“以管理员身份运行”或“Run As Administrator”，输入命令：

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
1

②查看 wsl 版本

2.2、设置 wsl 默认使用的 Linux 发行版

wsl -l -v *#*检 查 正 在 运 行 的 *Linux* 发 行 版
wsl --setdefault CentOS9-stream *#*将 *CentOS9-stream* 设 置 *wsl* 默 认 使 用 的 *Linux* 发 行 版 wsl --update *#* 以 防 万 一 更 新 *wsl*
wsl --set-version CentOS9-stream 2 *#*设 置 更 新 到 *CentOS9* 为 *WSL2*
wsl *#*进 入 到 *CentOS* 命 令 行
1
2
3
4

3、基于 wsl 安装 linux 系统

3.1、下载地址：

https://github.com/mishamosher/CentOS-WSL

3.2、启用 systemctl

echo -e “[boot]\nsystemd=true” | tee -a /etc/wsl.conf ps --no-headers -o comm 1
1

3.3、启用 nvidia-smi

cp /usr/lib/wsl/lib/nvidia-smi /usr/bin/nvidia-smi chmod ogu+x /usr/bin/nvidia-smi
1

4、Win11 WSL2 桥接网络实现局域网连接

4.1、开启 Hyper-V

搜索启用或关闭 Windows 功能，勾选 Hyper-V 功能并重启电脑

4.2、新增桥接网络

①打开虚拟交换机管理器

②新增虚拟交换机

4.3、为 centos 系统配置桥接网络并固定其 IP

① 新 建 全 局 配 置 文 件

cd ~ # 进 入 到 用 户 主 目 录

New-Item .wslconfig # 新 建 全 局 配 置 文 件 
.\.wslconfig # 选 择 一 个 编 辑 器 编 辑 该 配 置 文 件
1
2
3
4

② 写 入 内 容
[wsl2]
networkingMode=bridged
vmSwitch=WSLBridge
dhcp=true # 禁 止 DHCP 动 态 分 配 IP 地 址
ipv6=true
#Limits VM memory to use no more than 4 GB, this can be set as whole numbers using GB or MB
#可 更 改
memory=32GB
#Sets the VM to use two virtual processors
#可 更 改
processors=8
1
2
3
4
5
6
7
8
9
10
11
12

4.4、查看网桥配置是否成功以及网络连接是否正常

ip addr *#*查 看 网 卡 信 息
ping baidu.com *#* 尝 试 连 接 到 百 度
1
2

5、配置 python 环境

centos 默认有 python 环境

6、配置 anaconda 环境

6.1、下载安装包

wget https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh
1

6.2、安装 anaconda

bash Anaconda3-2021.11-Linux-x86_64.sh
1

6.3、配置 anaconda 环境变量

vi /etc/profile 
PATH=$PATH:/data/anaconda3/bin export PATH
source /etc/profile
echo $PATH
1
2
3
4

6.4、进入 conda 环境 出现(base)则说明安装成功

conda activate # 进 入 conda 环 境 出 现 (base)则 说 明 安 装 成 功 
conda deactivate # 退 出 conda 环 境
1
2

7、下载 ChatGlm3 模型

7.1、下载 chatglm3 模型

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
1
2

7.2、安装依赖

pip install protobuf 'transformers>=4.30.2' cpm\_kernels 'torch>=2.0' gradio mdtex2html sentencepiece accelerate
1

8、大模型微调环境搭建

8.1、下载大模型 LLM微调框架

git clone https://github.com/hiyouga/LLaMA-Factory.git
1

8.2、配置大模型 python 环境

conda create -n llm-fine-tune python=3.10 
conda activate llm-fine-tune
1
2

8.3、安装依赖

cd LLaMA-Factory/
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
1
2

8.4、启动 LLM框架

CUDA_VISIBLE_DEVICES=0 python src/train_web.py
1

9、训练大模型

9.1、配置基座模型 ChatGlm3

9.2、配置数据集

注：如果出现内容则成功，不出现则需要检查路径是否正确

9.3、配置训练参数

9.4、开始训练

9.5、加载训练后的模型

9.6、测试训练数据