ChatGLM-6B的部署_chatglm-6b部署

ChatGLM是一个基于GLM模型的对话生成系统。它使用了预训练的语言模型，并通过微调来生成有逻辑和连贯性的对话回复。ChatGLM可以用于各种对话场景，如智能客服、聊天机器人等。它是一个开源项目，你可以通过GitHub上的ChatGLM仓库进行查看和使用。

1.购买一个GPU服务器，显存>24G，镜像选择pytorch的最高版本。

（我用的是https://www.lanrui-ai.com/），在创建实例时，可以提前预选ai模型，直接选择chatglm，它会自动下载到服务器，节省时间，当然我也会会告诉你们怎么去手动下载模型。

2.启动实例后打开jupyter notebook操作，首先检查gpu驱动和torch框架是否存在。只要版本匹配，就行

3.下载chatglm项目文件，直接git

git clone <https://github.com/THUDM/ChatGLM-6B.git>

4.打开项目文件夹，并安装依赖库。

cd ChatGLM-6B
pip install -r requirements.txt
 

5.从hugging face下载chatglm-6B模型文件

git clone https://huggingface.co/THUDM/chatglm-6b

如果下载速度慢，参考https://zhuanlan.zhihu.com/p/475260268文章《如何优雅的下载huggingface-transformers模型》

到此所有需要安装的都已就绪，开始启动

6.chatglm有多种启动方式，可以直接使用

1.如果启动web版的Domo的话，需要先安装gradio

pip install gradio==3.40

个人建议使用3.42以下的版本，过高会出现一些小问题

接下来打开web_demo.py

默认有一处代码是demo.queue().launch(share=False, inbrowser=True)

修改为

demo.queue().launch(share=True, inbrowser=True)

启动

python web_demo.py

2.使用命令行启动

python cli_demo.py

3.api的方式启动（如果你需要部署到服务器应用）

pip install fastapi uvicorn

python api.py

本地通过post请求发送

curl -X POST "<http://127.0.0.1:8000>" \\
     -H 'Content-Type: application/json' \\
     -d '{"prompt": "你好", "history": []}'

2023.10.15记录