【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

写在前面

仅作个人学习记录用。本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。

1. 环境配置

Github地址：ChatGLM3

作者注释：transformers库版本推荐为4.30.2，torch推荐使用 2.0 及以上的版本，以获得最佳的推理性能。为了防止依赖之间的版本冲突，首先安装torch（gpu版的torch，除非你想使用cpu进行推理与微调）。

详细安装步骤可以参考我的另一篇记录文章：《【工程记录】conda虚拟环境配置+Pycharm使用pytorch-gpu环境（Windows）》

需要注意的是，ChatGLM3-6b的部分功能实现需要 Python ≥ 3.10。

然后使用 pip 安装剩余的依赖（由于已经安装了torch，因此可以删掉requirements.txt中的 torch≥2.0 一行）：

pip install -r requirements.txt
1

2. 下载ChatGLM3-6b模型

Github地址：ChatGLM3 中的代码会由 transformers 自动下载模型实现和参数。如果你的网络较差，下载模型参数可能会花费非常长的时间甚至失败。此时建议可以先将模型下载到本地，然后从本地加载。

1. 从 Hugging Face Hub 下载模型。

可以使用git进行克隆，运行：git clone https://huggingface.co/THUDM/chatglm3-6b。值得注意的是，要使用这种方法，下载模型需要先安装Git LFS。

还有一种较为简单的方法，即是直接从网站页面【链接】上点击下载模型。

2. 从 ModelScope 下载模型

如果从你从 HuggingFace 下载比较慢，也可以从ModelScope【链接】中下载。

ModelScope可以通过API下载，代码如下：

pip install modelscope

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")
1
2
3
4

或通过git下载：

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
1
2

下载完成后，将MODEL_PATH统一改成你下载的模型所在的文件夹位置。

3. 实现pycharm运行web_demo

ChatGLM3-6b部署完毕，接下来可以运行Demo来验证是否部署成功。

Windows系统下要想实现pycharm运行.sh文件或者启动基于Streamlit的网页版demo，需要下载安装Git。安装步骤详见：《Git 详细安装教程》。

然后在pycharm中按顺序点击：File—>Settings—>Tools—>Terminal—>Shell path

将cmd.exe改成刚刚下载的git的路径，注意选择的是 [你的安装路径]/Git/bin/sh.exe，而不是 [你的安装路径]/Git/bin/git.exe

• 如果git bash无法使用conda命令，尝试输入. [anaconda安装位置]/etc/profile.d/conda.sh
• 如果想要永久解决这种情况，在 [你的安装路径]/Git/etc/bash.bashrc 文件（不同版本可能对应文件不同，一般来说是.profile文件和.bashrc文件）中添加一行：. [anaconda安装位置]/etc/profile.d/conda.sh

接下来进入安装了ChatGLM依赖项的虚拟环境，在终端输入：

source activate base #这句命令可能需要可能不需要
conda activate your_env[环境名]
streamlit run web_demo2.py
1
2
3

效果如图：

部署完成。