LLM大语言模型（一）：ChatGLM3-6B本地部署_llm3 部署

目录

前言

本机环境

ChatGLM3代码库下载

模型文件下载

修改为从本地模型文件启动

启动模型网页版对话demo

超参数设置

GPU资源使用情况 （网页对话非常流畅）

前言

LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。

本机环境

CPU：AMD Ryzen 5 3600X 6-Core Processor

Mem：32GB

GPU：RTX 4060Ti 16G

ChatGLM3代码库下载

# 下载代码库
​git clone https://github.com/THUDM/ChatGLM3.git
 
# 安装依赖
pip install -r requirements.txt

模型文件下载

建议从modelscope下载模型，这样就不用担心网络问题了。

模型链接如下： 

chatglm3-6b · 模型库 (modelscope.cn)

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

修改为从本地模型文件启动

修改此文件basic_demo/web_demo2.py

import os
import streamlit as st
import torch
from transformers import AutoModel, AutoTokenizer
 
# 注意
# 注意
# 注意
# 注意
# 注意 也可以通过修改环境变量MODEL_PATH来实现
MODEL_PATH = os.environ.get('MODEL_PATH', '#注意-你的本地模型文件的文件夹-注意#')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'

启动模型网页版对话demo

pip install -U streamlit 

可以通过以下命令启动基于 Streamlit 的网页版 demo：

# 进入下载的代码库
cd ChatGLM3
 
# 用streamlit启动服务
streamlit run basic_demo/web_demo2.py

网页版 demo 会运行一个 Web Server，并输出地址。在浏览器中打开输出的地址即可使用。 经测试，基于 Streamlit 的网页版 Demo 会更流畅。

streamlit启动效果：

聊天窗口效果：

超参数设置

ChatGLM3-6B共有以下参数可以设置

• max_length: 模型的总token限制，包括输入和输出的tokens

• temperature: 模型的温度。温度只是调整单词的概率分布。其最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。

• top_p: 模型采样策略参数。在每一步只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的词。只关注概率分布的核心部分，忽略了尾部部分。

对于以下场景，我们推荐使用这样的参数进行设置

GPU资源使用情况 （网页对话非常流畅）

模型加载后GPU显存使用情况，约使用14G显存。

推理过程GPU使用情况， GPU使用率约88%