成功实操记录ChatGLM6b大模型_hf-mirror下载chatglm-6b需要多久

一、申请试用阿里云服务器

页面网址阿里云免费试用 - 阿里云

只要没有申请过PAI-DSW资源的新老用户皆可申请5000CU的免费额度，3个月内使用。

申请试用成功后

创建实例

进入创建页面资源组就选择默认的吧，大概能用13天

进项选择这里不要用默认的，默认的是python3.6比较旧了，现在好多开源项目都是python3.9+，建议选择最后一个

安装好（大概需要15分钟左右）进入实例

阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

进入终端，然后就可以进入实操步骤

二、ChatGLM6B操作记录

1、下载模型

由于模型较大（13G左右），我们最好先把模型拉到本地，再运行（也可以让代码运行时拉取模型，容易出问题）

模型文件仓库https://huggingface.co/THUDM/chatglm-6b

下载模型仓库，需要安装Git LFS（Large File Storage），它用来拉去Git仓库中的大型文件

1.1安装LFS

sudo apt-get install git-lfs

1.2拉取模型

git clone https://huggingface.co/THUDM/chatglm-6b

1.2.1 小技巧

有可能网络波动，会导致拉取卡住，可以手动停止掉，然后进入文件夹内：

git lfs pull

2、源码

2.1下载源码

git clone GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

2.2创建Python虚拟环境

cd ChatGLM-6B

virtualenv -p python3 venv (如果提示没有安装virtualenv，pip3 install virtualenv 安装下)

2.3激活Python虚拟环境

source venv/bin/activate

2.4安装依赖

这里我们需要用到gradio进行公网访问，在requirements.txt加上这个（也可以单独安装）

在 requirements.txt末尾加上gradio

pip install -r requirements.txt

如果下载较慢可以尝试

pip install -r requirements.txt -i https://pypi.doubanio.com/simple

3、部署模型

由于我们本地提前下载好了模型，使用本地模型需要修改下源码

使用模型的方法主要有两种,cli和web页面，主要是下面两个文件

3.1 修改源码

cli_demo.py

web_domo.py

修改其中的模型加载路径

启用gradio公网访问，所有网络会经过 Gradio 服务器转发，导致打字机体验大幅下降，不分享给别人就不要打开

3.2启动web界面

python web_demo.py

点击上图链接就可以自己访问进行测试了（没启用gradio的时候只有127.0.0.1的链接）

3.3命令行启动

python cli_demo.py

程序会在命令行中进行交互式的对话，在命令行中输入指示并回车即可生成回复，

输入 clear 可以清空对话历史，

输入 stop 终止程序。

3.4API部署

首先需要安装额外的依赖 pip install fastapi uvicorn，然后运行仓库中的 api.py：

python api.py

默认部署在本地的 8000 端口，通过 POST 方法进行调用

curl -X POST "http://127.0.0.1:8000" \ -H 'Content-Type: application/json' \ -d '{"prompt": "你好", "history": []}'

得到的返回值为

{ "response":"你好