趋动云部署chatglm3，超详细不踩坑全过程

1.部署环境

本人是用的趋动云的服务器部署的chatglm3-6b模型。

我们首先创建项目。

然后选择一个镜像，这里我们选择Pytorch2.0.1-Conda3.9这个官方的镜像。

关于模型，趋动云可以加载公共的模型，这一点还是省事情的。如果是其他服务器的话，就要自己下载模型了。

因为HuggingFace国内已经墙了，所以现在只能选择魔塔(ModelScope)了。

创建项目

代码我们暂时不上传，之后我们点击创建。这时候就要我们选择租用的服务器了。

这里，我推荐使用B1.large。单核的24GB的gpu足够我们部署和微调了。(下方的JupyterLab记得勾选)自己电脑的话，部署chatglm3-6b需要12G左右的显存。

至此，项目创建完成，可以进入开发环境开始开发了。

2.部署模型

首先，我们首先需要下载本仓库：

git clone https://github.com/THUDM/ChatGLM3

(这一步容易连接超时，建议先导入到自己的gitee仓库，然后开源后选择自己的地址进行下载。

下载好本地代码后，安装依赖环境。

pip install -r requirements.txt（安装前提前把requirements.txt里面的torch>=2.1.0删除，因为这个我们提前安装过了，同时把 gradio重新设置一下版本：gradio==3.39.0）

现在就已经部署好了，如果想试一试效果，可以去 basic_demo 文件夹进行测试。

记得把MODEL_PATH的路径和接口信息改一下。

demo.queue().launch(share=False, server_name="0.0.0.0", server_port=8501)

然后在端口信息加上你改后的端口号，我这里改的是8501

3.测试

都修改好后，运行web_demo_gradio.py 代码。

python web_demo_gradio.py

现在，你就可以随心所欲的跟chatglm3聊天了。

后记

后续会发微调的过程和创建langchain知识库的过程，欢迎有兴趣的朋友一起探讨。