VisualGLM-6B的部署步骤_A2

对于如下命令，你将完全删除环境和环境中的所有软件包

conda remove -n env_name --all 

一、VisualGLM-6B环境安装

1、硬件配置

操作系统：Ubuntu_64（ubuntu22.04.3）

GPU：4050

显存：16G

2、配置环境
建议最好自己新建一个conda环境
pip install -r requirements.txt

(ChatGLM-6B/requirements.txt at main · THUDM/ChatGLM-6B · GitHub)

VisualGLM-6B 下载地址                                                          ChatGLM3下载地址

ChatGLM2-6B  下载地址                                                                CogVLM     下载地址

                                                                                                       CogAgent     下载地址

   glm-cookbook  下载地址                                        zhipuai-sdk-python-v4   智谱开放接口SDK

   THUDM / chatglm2-6b  模型地址                        THUDM / chatglm3-6b  模型地址

   THUDM / visualglm-6b   模型地址                        CodeGeeX2   模型地址

CodeGeeX2-6B 是一个基座代码生成模型，不具备聊天能力。

CodeGeeX2: 强大的多语言代码生成模型

   

  智谱新一代

chatglm.cpp  下载地址

chatglm.cpp:类似 llama.cpp 的量化加速推理方案，实现笔记本上实时对话

2、配置环境
自己新建一个conda环境

conda create -n vglm python==3.8

接着

pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 

 

报错（一直循环下载）

Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/b1/5b/9f85c302c60cf4988b9d87d52812e77ca8ca5f012d81d44d6c501a3ca2a8/boto3-1.34.76-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 24.1 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.76 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/2a/f5/256c032825d33d1ce45543db46ec30db963cb68c7c45dc0d08335c3862a6/botocore-1.34.76-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.1 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/06/fa/8fb0a124f9c0d22dd918e15df4c4bd42d8f846985a5331783e0a9b612553/boto3-1.34.75-py3-none-any.whl (139 kB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 139.3/139.3 kB 29.3 MB/s eta 0:00:00
Collecting botocore<1.35.0,>=1.34.75 (from boto3->SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/76/9f/161f74d223a8bdba465a61d9eef16a870bdea80c6c45f822ddb00a499a68/botocore-1.34.75-py3-none-any.whl (12.1 MB)
     ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 12.1/12.1 MB 14.3 MB/s eta 0:00:00
Collecting boto3 (from SwissArmyTransformer==0.4.4->-r requirements.txt (line 1))
  Downloading https://mirrors.bfsu.edu.cn/pypi/web/packages/fe/61/2561a979dabf221724b0de8d5ba9c6f42950fea689ebfca304e8ee943d68/boto3-1.34.74-py3-none-any.whl (139 kB)

 

找到报错的SwissArmyTransformer==0.4.4

添加#SwissArmyTransformer==0.4.4

后在单独下载SwissArmyTransformer==0.4.4

环境到此完成安装！

二、本地加载VisualGLM-6B模型

下载ChatGLM-6B模型文件 

文件可以从这里下载(点击中间的下载按钮即可)：https://huggingface.co/THUDM/chatglm-6b

  从本地加载模型

  visualglm-6b模型文件

手动下载模型参数文件，并将下载的文件替换到本地的 chatglm-6b 目录下。

将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。

Optional 模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性，可以执行

git checkout v1.1.0

注意：这里都下载在了GPT/VisualGLM-6B下，在后面执行代码的时候需要将文件中的模型文件路径改为自己的

cd VisualGLM-6B
python web_demo.py

模型量化

在Huggingface实现中，模型默认以 FP16 精度加载，运行上述代码需要大概 15GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型。 使用方法如下：

# 按需修改，目前只支持 4/8 bit 量化。下面将只量化ChatGLM，ViT 量化时误差较大
model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).quantize(8).half().cuda()

streamlit run web_demo21.py

报错如下：

(glm) sxj@sxj:~/GPT/VisualGLM-6B$ python cli_demo_hf.py
Traceback (most recent call last):
  File "cli_demo_hf.py", line 8, in <module>
    model = AutoModel.from_pretrained("THUDM/visualglm-6b", trust_remote_code=True).half().cuda()
  File "/home/sxj/anaconda3/envs/glm/lib/python3.8/site-packages/transformers/models/auto/auto_factory.py", line 558, in from_pretrained
    return model_class.from_pretrained(
  File "/home/sxj/anaconda3/envs/glm/lib/python3.8/site-packages/transformers/modeling_utils.py", line 2954, in from_pretrained
    model = cls(config, *model_args, **model_kwargs)
  File "/home/sxj/.cache/huggingface/modules/transformers_modules/visualglm-6b/modeling_chatglm.py", line 1344, in __init__
    from .visual import BLIP2
  File "/home/sxj/.cache/huggingface/modules/transformers_modules/visualglm-6b/visual.py", line 4, in <module>
    from sat.model import ViTModel, BaseModel
ModuleNotFoundError: No module named 'sat'
 

参考：ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现_chatglm微调-CSDN博客