【大模型实践】ChatGLM3安装及体验（四）_file "d:\work\chatglm\chatglm3\composite_demo\main

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32k。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

本文介绍ChatGLM3-6B模型的安装及体验过程。

目录

一、安装

二、下载模型权重

三、开启gradio对话服务

四、开启stream对话服务

五、综合Demo

总结

---

一、安装

本文使用conda进行安装，首先克隆代码：

git clone https://github.com/justld/ChatGLM3.git
cd ChatGLM3

创建虚拟环境：

conda create -n chatglm python=3.10

进入虚拟环境：

conda activate chatglm

安装依赖(建议pytorch参考官方文档自行安装)：

pip install -r requirements.txt

二、下载模型权重

因为huggingface国内不好访问，所以使用modelscope的模型权重。因为权重仓库文件很大，所以先安装lfs：

git lfs install

克隆仓库：

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

克隆好了仓库后，进入该目录，并下载权重：

cd chatglm3-6b
git lfs pull

下载好了权重后，返回上级目录：

cd ..

将权重路径导出为环境变量（将/path/to/model替换为自己的chatglm3-6b权重路径）：

export MODEL_PATH=/path/to/model

三、开启gradio对话服务

进入basic_demo目录并运行web demo：

cd basic_demo
python web_demo_gradio.py

如下图，不知道是不是版本问题，模型的输出并未正常显示：

四、开启stream对话服务

 进入basic_demo目录并运行web demo：

cd basic_demo
streamlit run web_demo_streamlit.py

如下图所示，可以正常对话:

五、综合Demo

如果要使用代码功能，需要安装jupyter等包：

ipython kernel install --name chatglm3-demo --user

进入composite_demo文件夹（和basic_demo在同级目录），开启服务：

streamlit run main.py

写个归并排序试试：

总结

ChatGLM3-6B是一个挺好用的大模型，本文使用的GPU是RTX4090,占用显存不到14GB。后续会尝试进行finetuning。