chatglm3本地部署(综合Demo版本)教程_chatglm3-7b-32k本地部署

1.下载代码

我是在本地c盘中，创建了一个glm3文件夹，然后把代码拉到这个文件夹里，所以在clone之前，需要在cmd中，把路径切换到glm3文件夹下，然后执行如下代码。

git clone https://github.com/THUDM/ChatGLM3
1

2.模型下载

https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files

所有内容都需要下载，下载完成后，放入如下地址

3.环境配置

首先检查自己gpu的cuda版本，在cmd中使用nvidia-smi命令

我的是12.3，然后到https://pytorch.org/get-started/locally/中，选取适合自己的torch版本，我的选择如下图

接着使用Anaconda Navigator创建一个conda环境

没有Anaconda Navigator 的，可以使用命令行创建一个

conda create -n chatglm3 python==3.10.13
1

激活conda环境

activate chatglm3
1

使用上面torch官网图中红框里的代码，安装torch

接下来打开ChatGLM3中的requirements.txt文件，找到里面的torch信息，删除红框中的这一行，因为直接使用这里面的torch，下载的是cpu版本，所以我们上面就自己手动下载了GPU版本。

删除完成后在ChatGLM3目录下，执行

pip install -r requirements.txt
1

其实到这里，已经可以运行普通的demo了，但是我们的目标是运行综合Demo，所以我们需要进到composite_demo目录下，然后安装里面的包。

pip install -r requirements.txt
1

然后执行

ipython kernel install --name chatglm3-demo --user
1

接着需要修改一下client里地址，把地址改成本地模型所在地址，也就是上面下载模型放的位置。

一切都没有问题的话，最后执行

streamlit run main.py
1

访问控制台中的地址