ChatGLM-6B模型部署_chatglm-6b安装下载

1.代码和模型下载

  (a）下载代码：git clone GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

  (b) 下载模型：git clone THUDM/chatglm-6b · Hugging Face 注意：这个只是模型的实现

  (c) 下载模型参数： 清华大学云盘 (tsinghua.edu.cn) 注意：MODEL_LICENSE、LICENSE、ice_text.model文件也要一起下载下来

2.环境安装和准备

本次实验是将代码和模型均放在了/home/THUDM目录下

(a)下载和安装centos8操作系统(太简单了， 略)

(b)安装python相关的依赖包

yum -y install python39 python39-pip python39-setuptools

(c).安装依赖

cd /home/THUDM/ChatGLM-6B

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

(d)上传模型

(i)将MODEL_LICENSE、LICENSE、ice_text.model上传到/home/THUDM/chatglm-6b目录下

(ii)将 pytorch_model-00001-of-00008.bin等上传到/home/THUDM/chatglm-6b目录下

3.运行模型

(a)以web的方式运行模型

   (i)修改web_demo.py中的第6行代码，以支持模型在cpu上运行

   修改前：model = AutoModel.from_pretrained("THUDM/chatglm-6b",

   trust_remote_code=True).half().cuda()

修改后：model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

(ii)修改web_demo.py中的模型路径

修改前： tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

修改后：model_path = "/home/THUDM/chatglm-6b"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda()

(iii)运行模型：python web_demo.py

(iiii)配置代理访问

关闭掉SElinux，修改配置文件/etc/sysconfig/selinux，将SELINUX=enforcing修改为SELINUX=disabled

安装http，yum -y install httpd

配置httpd代理访问，在/etc/httpd/conf.d/目录下新增配置文件chatgpt-6b.conf，并添加一下内容

LoadModule proxy_module /etc/httpd/modules/mod_proxy.so

LoadModule proxy_http_module /etc/httpd/modules/mod_proxy_http.so

LoadModule proxy_ftp_module modules/mod_proxy_ftp.so

LoadModule proxy_connect_module modules/mod_proxy_connect.so

LoadModule proxy_ajp_module modules/mod_proxy_ajp.so

LoadModule proxy_balancer_module modules/mod_proxy_balancer.so

LoadModule proxy_connect_module modules/mod_proxy_connect.so

LoadModule proxy_wstunnel_module modules/mod_proxy_wstunnel.so

LISTEN 80

<VirtualHost *:80>

ServerName 192.168.10.23

ProxyPreserveHost on

ProxyRequests on

ProxyPass /queue/join ws://127.0.0.1:7860/queue/join

ProxyPass / http://127.0.0.1:7860/

ProxyPassReverse / http://127.0.0.1:7860/

SetEnv force-proxy-request-1.0.1

SetEnv proxy-nokeepalive 1

</VirtualHost>

启动httpd服务

(b)以cli方式运行，以上的方法修改cli_demo.py，并运行

4.使用模型

(a)web方式，http://192.168.10.23/

(b)cli方式

5.参考文档： 

(1)THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型 (github.com)

(2) ChatGLM-6B 在 ModelWhale 平台的部署与微调教程 - Heywhale.com