ChatGLM3的部署（windows版）_glm3 half quantize(4)

1.环境准备

python环境

参考：python环境安装（windows版）-CSDN博客

cuda环境（使用GPU调试时需要使用，使用cpu可以不装）

参考：cuda下载和安装-CSDN博客

2.工具准备

Git安装：Git下载和安装-CSDN博客

pycharm安装：pycharm的下载和安装-CSDN博客

3.下载源码

1.进入想下载到的路径后右键选择Open Git Bash Here

2.复制Git路径并粘贴进去

Git路径：

git clone https://github.com/THUDM/ChatGLM3

由于不能使用ctrl+v，只能右键粘贴进去

3.git路径粘贴进去后回车

如图就已经下载完了

4.下载完毕

可以在文件夹中看到ChatGLM3文件夹

4.运行项目

1.使用pycharm打开

1.点击open

2.选择文件

选中后点击ok

3.项目打开

4.创建虚拟环境

项目加载完毕后自动弹出，点击OK

5.下载项目中所需要的依赖

打开basic_demo的任意一个demo文件(cli_demo.py/web_demo.py)会出现如下图所示，点击框选处

点击后入下图所示，全选后点击install。如果没有通过这种方式安装，需要在终端一个一个安装

2.下载依赖

1.打开终端

2.输入命令行加载依赖

pip install -r requirements.txt

整个过程下载较慢，如果上面的下载失败可以使用豆瓣

pip install -r requirements.txt -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

3.下载完成

4.查看torch版本（使用cpu运行可忽略，GPU运行则需要验证）

控制台输入

--控制台输入
python
然后输入
import torch
查看torch版本
torch.__version__  (注意这里是两个横线组成的下划线，不是一根！！！）

'2.1.1+cpu'则代表torch是cpu版本的，如果需要使用gpu调试则需要安装GPU版本

5.安装GPU版torch（需使用GPU运行时安装）

卸载torch
pip uninstall torch torchvison torchaudio
 
安装GPU版本torch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

6.验证cuda是否和torch兼容（GPU运行需验证）

如果程序中出现报错:Torch not compiled with CUDA enabled
也是torch 和cuda版本不配对的问题，解决问题期间可以用上述代码测试新安装的版本是否配对。显示True时,说明已配对，在运行程序多半就不会出现这个报错了。
python
import torch
print (torch.cuda.is_available())

如图，cuda和torch兼容（参考cuda安装教程安装的cuda和上面安装的torch是兼容的）

3.GPU运行注意事项

如果你的GPU内存在8g及以上可以不用调代码，如果低于8g我们需要调整代码；使用GPU运行GPU内存最小4g，如果你的GPU内存小于4g那你就别为难他了......

ChatGLM3\basic_demo\cli_demo.py文件中

    model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).quantize(
        4).cuda().eval()

如图修改

ChatGLM3\basic_demo\web_demo.py文件中

4.运行demo

1.打开终端，输入命令cd basic_demo，进入到basic_demo目录下

运行控制台的demo
python cli_demo.py
 
运行web端的demo
python web_demo.py

PS:第一次运行时需要使用代理（俗称翻墙）

2.控制台后效果如下，可以进行对话

3.web运行效果如下

4.复制到浏览器中可以打开

5.GPU显存使用

根据3.GPU运行注意事项调为quantize(4)之后，GPU内存使用5.1

未调整代码或者使用quantize(8)之后，GPU内存使用7.7

使用GPU会比cpu快很多

8.运行时的问题

问题1：下载依赖时报错

将下方代码复制出来运行即可

如图便已升级成功

问题2：No module named 'xxxx'

在控制台执行下方命令

pip install xxx

问题3:运行web.demo时回答的文字未呈现

输入你好后，下方出现“你”，然后就被清除了，这是由于gradio版本较低的问题

卸载gradio
pip uninstall gradio
 
安装gradio==3.40.0
pip install  gradio==3.40.0