【ChatGLM】学习ChatGLM3-6B模型部署_chatgml3怎么加载chatgml3-6b模型

部署模型

##设置镜像源、克隆项目

1. 升级apt，安装unzip；

apt-get update && apt-get install unzip
1

2. 设置镜像源，升级pip；

git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip
1
2
3

3. 克隆项目，并进入项目目录；

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3
1
2

4. 安装包版本问题，可修改requirements.txt，修改成对应版本；这里用的pytorch2.0.1，python3.9；
5. 终端，安装依赖，依赖安装完毕后还需要安装peft；

pip install -r requirements.txt
pip install peft
1
2

其中，PEFT（Python Exploratory Data Analysis Tool）是一款用于探索性数据分析的 Python 库。它的主要用途是帮助数据科学家和分析师快速、高效地了解数据集的特点和结构，从而更好地进行数据分析和决策。

修改web_demo_gradio.py代码

1. 修改模型目录；
   basic_demo 编辑web_demo_gradio.py，将加载模型的路径修改为：/xxxx/pretrain。

git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip
1
2
3

2. 修改启动代码；

demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)
1

3. 添加外部端口映射：7000；

4. 运行gradio界面；

cd basic_demo
python web_demo_gradio.py
1
2

5. 访问gradio页面
   -加载完毕之后，复制外部访问的连接，到浏览器打打开。
   

6. 终端，安装依赖，依赖安装完毕后还需要安装peft；

pip install -r requirements.txt
pip install peft
1
2

等待模型慢慢加载完毕，可能需要个五六分钟！！

修改web_demo_streamlit.py代码

1.basic_demo 编辑web_demo_streamlit.py，将加载模型的路径修改为：/xxxx/pretrain。（同上）
2.运行streamlit界面: 终端，运行web_demo_stream.py并指定7000端口。

streamlit run web_demo_streamlit.py --server.port 7000
1

3.访问streamlit界面: 复制外部访问地址到浏览器打开，之后模型才会开始加载。等待模型记载完毕。

加载成功后工作台后端画面