chatGLM3本地部署【避坑指南】_chatglm3 is streamlit still running?

本教程主要是给大家在手动搭建chatGLM3时提供避坑指引，解决搭建后无响应问题，希望对你有所帮助。
各位朋友好，相信当你能看到我这篇文章时，你可能已经踩坑了。不要着急，让我来分享一下我在本地部署时遇到的一些坑以及避免的方法。

目前我遇到的情况是，可以正常使用streamlit run main.py指令成功拉起web页面，也能发送第一条消息。之后就会一直等待（无响应），右上角的running一直在转圈。chatGLM3无响应

https://github.com/THUDM/ChatGLM3
按照官方的教程反反复复试过很多遍，一直没成功。

避坑指南1 使用一键部署包：

后来下载了B站朋友分享的一键安装包，可以正常使用。
必须有一个6GB以上显存的NVidia显卡
安装一键部署包前请确认你安装了CUDA

CUDA下载安装 ：

https://developer.nvidia.com/cuda-downloads

ChatGLM3 一键部署包：

https://pan.baidu.com/s/1SAOUxt08zWK80Wnrrev87g
提取码：1234

避坑指南2 手动搭建运行环境：

如果你也需要想我一样DIY一些东西，或者运行别人分享的demo，免不了手动配置运行环境。
根据网上的一些教程，推荐使用anaconda配置环境。
如果你已入坑，那么卸载掉你已经安装好的torch和python

坑一：

pip install -r requirements.txt
1

很大一部分原因是根据官方的教程，在使用requirements.txt安装时，torch的版本不正确。
（极大可能是安装了cpu版本，导致运行环境不正确）

首先在终端中输入python进入python交互式环境
接着输入

import torch
print(torch.__version__) #注意是双下划线
1
2

可以查看到torch的版本号，如果有cpu这几个字，那么恭喜你已经成功踩坑。要果断卸载（我写这个教程时已经卸载，因此没有贴图）

pip uninstall torch
使用以上指令把已安装的torch卸载掉，然后到官网下载适合自己版本的whl文件，下载地址：download.pytorch.org/whl/torch/

你需要下载对应的版本。我的电脑是4060ti显卡，下载了cu12.1
注意一定要看字母是cu，不是cpu！不是cpu！不是cpu！
cu121表示cuda12.1
cp310表示python3.10
（关于版本的选择，网上有很多资料和教程可以参考。）
你一定要看清楚文件名再下载，我在这里下载错一次，导致安装不成功。
（自己踩得每一个小坑，都是在替大家趟地雷…）
torch下载完成后，到下载目录，用“pip install 文件名 ”命令安装即可；

建议先不要着急操作，这里也有一个坑！请把全篇文章里看完，安装步骤在后面！

坑二

使用python -V命令查看当前环境的python版本：
python -V
网友建议使用 python=3.10 因此我这里把3.11卸载之后重装

conda uninstall python
1

使用conda install python=3.10指令重新安装python

坑三：

我这里由于下载错误，cp311版本的安装报错，又重新下载的cp310的。因此在下载时一定要在众多版本中找对文件名字！

坑四：

然后你要进入你的demo根目录中，找到requirements.txt文件
删除里面关于torch的安装指令。

torch安装完成。

我是直接安装到了系统环境中，而没有在conda虚拟环境中安装。
导致在cmd里能查询到torch的版本，而启动demo之后又报错，找不到torch模块。


最终我把这个不行的环境删掉了。重新安装了一遍

因此使用conda为你的demo创建虚拟环境后，你要用以下指令安装你下载的torch文件（注意，我是把安装文件放在demo根目录的）
（我是不太会用conda的，因此想了这个办法给demo的虚拟环境又装了一遍torch，如果你还有简单方法请多多指教，留言评论,谢谢）

pip install 文件名
1

坑五

这一部分是在正确的配置好虚拟环境之后，拉起web页面，又抛出了几次异常。
原因可能是在之前安装一些文件时，网络可能不好，有些文件是缺失的。（你还可以用一些镜像网站加速下载。）
不过没关系，它提示缺什么，我们就再pip install 它

pip install sentencepiece
pip install accelerate
1
2

坑六

正确配置大模型的目录
一般情况下你的demo根目录下回有client.py文件，里面包含了MODEL_PATH，让它指向你的大模型根目录。

另外可以在windows系统中加入系统变量

系统变量是配置运行环境经常会用到的，这里不过多赘述。

结语

在经历了种种踏坑之后，我终于把demo成功的运行起来。心累啊！
总的来说，你可能会遇到这些坑：

1. 错误的torch版本：你如果使用官方教程，有可能安装了错误的torch版本（cpu版），这样你的显卡就不起作用。
2. 没有安装cuda：注意python的版本3.10，和cuda的版本12.1，以及下载的torch版本要对应。
3. 没有加载到torch：使用conda为你的demo创建虚拟环境后，检查conda虚拟环境中是否正确配置了torch。如果没有，我的方法是执行一次 pip install torch-(文件名很长).whl
4. 网络原因造成安装时缺失文件。web抛出的异常时，缺什么文件再执行pip install 安装一次。
5. 没配置模型的目录：在demo中MODEL_PATH指向你的大模型根目录。

到这里基本就成功避坑了。剩下的小步骤，相信以你的智慧都能解决了！

最后祝你成功！教程如果对你有用，多多点赞收藏吧！