ChatGLM2-6B部署_chatglm2-6b 部署

配置相应的conda 或 python环境

linux系统自带python
可以使用conda create env 来创建新环境来进行部署

打开ChatGLM2-6B官网

网址：https://github.com/THUDM/ChatGLM2-6B

下载源仓库

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
1
2

然后使用 pip 安装依赖：

pip install -r requirements.txt
1

如果torch不好下载，可先下载本地whl文件（找适合自己机器的cuda版本），然后再将requirements.txt文件中的torch一行删除

下载模型参数

1、运行demo.py文件自动下载

路径：/home/yonghuming/.cache/huggingface/hub/models--THUDM--chatglm2-6b/snapshots/b1502f4f75c71499a3d566b14463edd62620ce9f（正确路径！）

别人的内容：

把这几个文件下载好，用scp或者U盘的方式考进上面的（正确路径！）中。
或者用刚更新的lfs自己再download

2、利用清华云镜像下载

如清华Github所示：
以上代码会由 transformers 自动下载模型实现和参数。完整的模型实现在 Hugging Face Hub。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。

从 Hugging Face Hub 下载模型需要先安装Git LFS，然后运行

git clone https://huggingface.co/THUDM/chatglm2-6b
1

如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢，可以只下载模型实现（可以先新建文件夹，再打开terminal去download）

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b
1

然后从这里手动下载模型参数文件，并将下载的文件替换到本地的 chatglm2-6b 目录下。

将模型下载到本地之后，将以上代码中的 THUDM/chatglm2-6b 替换为你本地的 chatglm2-6b 文件夹的路径，即可从本地加载模型。(如果担心错的话最好就写成绝对路径)

模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性，可以在 from_pretrained 的调用中增加 revision=“v1.0” 参数。v1.0 是当前最新的版本号，完整的版本列表参见 Change Log。

启动ChatGLM2-6B

直接运行web_demo文件，enjoy。