ChatGLM2详细安装部署（chatglm2大模型安装步骤三）_chatglm2下载

ChatGLM2安装部署

1.服务器配置

服务器系统：Centos7.9 x64
显卡：RTX3090 （24G）
虚拟环境：Miniconda3

2.安装部署

2.1 ChatGLM2下载

输入命令：git clone https://github.moeyy.xyz/https://github.com/THUDM/ChatGLM2-6B.git
输入命令：cd ChatGLM2-6B
注：https://github.moeyy.xyz/是一个代理网站

2.2 安装ChatGLM2所需要的环境

首先需要进入到chatglm2环境（如果没有，请看上一个视频）
输入命令：conda activate chatglm2

根据requirements.txt安装所需环境
输入命令：pip install -r requirements.txt

2.3 下载ChatGLM2模型文件

打开链接：https://modelscope.cn/models?name=chatglm2&page=1，看到如下图页面

点进去之后是模型的详细介绍，在这里就不在展示。

开始下载模型文件

第一步：编写一个modelscope_download.py脚本，写下如下内容。
from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm2-6b", revision = "master",cache_dir="./")
以上内容会下载到cache_dir指向的目录（注意，要找一个盘大的目录下载）

第二步：执行脚本，下载模型文件（由于魔塔社区是阿里国内的，所以下载网速较快）
首先需要安装魔塔工具包，然后执行脚本
输入命令：pip install modelscope 
输入命令：python3 modelscope_download.py
1
2
3
4
5
6
7
8
9

2.4 启动ChatGLM2模型

进入 ChatGLM2代码的目录
输入命令：vim web_demo2.py
把路径修改成，模型的文件路径（如果没有指定目录则不需要修改，其他启动web或者openai_api的脚本都是此方法）

启动模型：streamlit run web_demo2.py（streamlit模式启动）
启动模型：python web_demo.py（普通web模式启动）
启动模型：python openai_api.py（以openai的方式启动接口访问）
1
2
3

streamlit模式启动完成后如图：http://192.168.0.1:8502/

附注：pip永久配置清华源（如果pip下载卡住，使用此方法）
创建目录
输入命令：mkdir ~/.pip
编辑内容vim ~/.pip/pip.conf

[global]
	index-url=https://pypi.tuna.tsinghua.edu.cn/simple
trusted-host=pypi.tuna.tsinghua.edu.cn
1
2
3