【工程记录】ChatGLM3-6b桌面助手（Windows）_glm3-6b window部署

写在前面

仅作个人学习记录用。本文记录 Windows 操作系统中 ChatGLM3-6b 模型网页demo的一种简单的快速启动方法。本文记录方法基于本地部署模型（仅适用于觉得每次启动demo都需要在cmd或python编译器上用键盘敲击相同的命令非常麻烦的人群），并非基于客户端模式启动或服务器快速调用接口等的方法。

1. 部署ChatGLM3-6B模型

部署 ChatGLM3-6B 模型和安装 Streamlit 的详细步骤请参照：【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

2. Streamlit搭建网页demo

• 你可以使用 ChatGLM3 官方提供的基于 Streamlit 的网页demo：web_demo2.py 。
• 你也可以自己设计网页demo增加除对话外的其他功能或工具；或者按自己的ui设计需求改写 web_demo2.py，例如：

import os
import streamlit as st
import torch
from transformers import AutoModel, AutoTokenizer

MODEL_PATH = os.environ.get('MODEL_PATH', '[你下载chatglm3-6b的位置]')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
# 设置页面标题、图标和布局
st.set_page_config(
    page_title="ChatGLM3-6B桌面助手", #页面标题
    page_icon=":robot:", #图标
    layout="wide" #布局
)

......

# 渲染聊天历史记录
for i, message in enumerate(st.session_state.history):
    if message["role"] == "user":
        with st.chat_message(name="user", avatar="
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/568068