04-ChatGLM4实践—GLM安装运行（零基础入门）_chatglm4 github

在运行之前需要先安装对应的环境依赖以及pytorch

1、GLM-4

1 模型介绍

2 模型列表

我们会使用9B-Chat这个模型进行演示

3 代码下载
GLM4代码github地址：https://github.com/THUDM/GLM-42下载预训练数据集（20G）3 运行代码4 对话

4 模型下载
地址：https://modelscope.cn/models/ZhipuAI/glm-4-9b-chat/files

# 推荐使用git下载
# git 相关知识参考其他
git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git 
1
2
3

2、运行代码

pytorch的环境已经安装好，需要的可以看上一篇，Pytorch2.3 GPU版本安装https://blog.csdn.net/qq_37153942/article/details/139579093
1 安装环境
切换到conda的环境中，在basic_demo文件目录下安装项目依赖。


2 安装

pip install -r requirements.txt
1

3 更改模型路径

#你自己下载的模型路径-文件夹
MODEL_PATH = os.environ.get('MODEL_PATH', 'C:/AIGC/GLM-4/glm-4-9b-chat')
1
2

4 运行demo

python trans_cli_demo.py
1

问题：回答的速度还是有点慢，主要是硬件，毕竟大力出奇迹
5 内存监控

在运行demo程序之前，在后台要关注显存的使用情况

方式1：任务管理器

方式2：nvidia-smi

大家可以参考文档进行微调等尝试，等到搞得好的机器在与大家分享微调的内容。