【工程记录】GLM-4V-9B 部署的详细教程（Windows）
赞
踩
写在前面
仅作个人学习记录用。本文记录GLM-4V-9B在Windows操作系统中的部署的详细方法。
1. 环境配置
作者提供的测试硬件信息如下：
OS: Ubuntu 22.04
Memory: 512GB
Python: 3.10.12 （推荐） / 3.12.3 均已测试
CUDA Version: 12.3
GPU Driver: 535.104.05
GPU: NVIDIA A100-SXM4-80GB * 8
- 1
- 2
- 3
- 4
- 5
- 6
作者推荐Python版本为3.10.12 ，torch推荐使用 2.3 及以上的版本，以获得最佳的推理性能。为了防止依赖之间的版本冲突，首先安装torch（gpu版的torch，除非你想使用cpu进行推理与微调）。
详细安装步骤可以参考我的另一篇记录文章：《【工程记录】conda虚拟环境配置+Pycharm使用pytorch-gpu环境（Windows）》
经过本人实测，windows系统中仍然可以部署GLM-4V-9B。如果自己的显卡不支持 CUDA 12.3 版本，本人已经验证 CUDA 12.1 版本以及 11.8 版本皆可支持部署。
然后使用 pip 安装剩余的依赖（由于已经安装了torch，因此可以删掉或注释掉requirements.txt中的 torch>=2.3.0 和 torchvision>=0.18.0 ）：
pip install -r requirements.txt
- 1
2. 下载GLM-4V-9B模型
Github地址：GLM4 中的代码会由 transformers 自动下载模型实现和参数。如果你的网络较差，下载模型参数可能会花费非常长的时间甚至失败。此时建议可以先将模型下载到本地，然后从本地加载。
1. 从 Hugging Face Hub 下载模型。
可以使用git进行克隆，运行：git clone https://huggingface.co/THUDM/glm-4v-9b。值得注意的是，要使用这种方法，下载模型需要先安装Git LFS。
还有一种较为简单的方法，即是直接从网站页面【链接】上点击下载模型。
2. 从 ModelScope 下载模型
如果从你从 HuggingFace 下载比较慢，也可以从ModelScope【链接】中下载。
ModelScope可以通过API下载，代码如下：
pip install modelscope
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/glm-4v-9b", revision = "v1.0.0")
- 1
- 2
- 3
- 4
或通过git下载：
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/glm-4v-9b.git
- 1
- 2
下载完成后，将MODEL_PATH统一改成你下载的模型所在的文件夹位置。
3. 实现pycharm运行demo
GLM-4V-9B部署完毕，接下来可以运行demo来验证是否部署成功。
和之前文章ChatGLM3-6b部署的流程不同，web_demo使用gradio而非streamlit，因此不需要使用终端，直接运行py文件即可。
如果仍要通过终端运行的话，也可以按照如下步骤：实现下载安装Git（安装步骤详见：《Git 详细安装教程》）。然后在pycharm中按顺序点击：File—>Settings—>Tools—>Terminal—>Shell path。将cmd.exe改成刚刚下载的git的路径，注意选择的是 [你的安装路径]/Git/bin/sh.exe，而不是 [你的安装路径]/Git/bin/git.exe
- 如果git bash无法使用conda命令，尝试输入
. [anaconda安装位置]/etc/profile.d/conda.sh - 如果想要永久解决这种情况，在 [你的安装路径]/Git/etc/bash.bashrc 文件（不同版本可能对应文件不同，一般来说是.profile文件和.bashrc文件）中添加一行：
. [anaconda安装位置]/etc/profile.d/conda.sh
接下来进入安装了依赖项的虚拟环境，在终端输入：
source activate base #这句命令可能需要可能不需要
conda activate your_env[环境名]
python run trans_web_vision_demo.py/trans_cli_vision_demo.py
- 1
- 2
- 3
以此图片为例：
效果如图：
- trans_web_vision_demo.py：
- trans_cli_vision_demo.py：
部署完成。
