chatglm-6b模型在windows的详细安装教程(踩坑记录)_chatglm-6b windows安装下载

1.先是看了github的文章（如果打不开这篇文章，可能需要科学上网，即访问外网的VPN）：
https://github.com/THUDM/ChatGLM-6B

强烈建议科学上网，不然后序下载相关文件也是困难重重，浪费时间，笔者后面还是买了vpn才终于成功，前面下载各种二手的资源也是错误一大堆。

2.准备：台式机，GPU是8G。（笔记本可以跑的，就是显卡性能太差的话，也仅仅是可以跑，笔者的显卡是GTX 1050TI）；python；pycharm

3.打开github网址，下载代码（GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型
方式一：图片里手动下载。
方式二：如果有git bsah的话，用git clone）。
————————————————

3.下载上面的项目之后，用pycharm打开这个项目。
4.继续下载模型文章。下载网址https://huggingface.co/THUDM/chatglm-6b/tree/main

下载这个网页里的所有文件（一共20个）,记得一定要全部下载，不然后面有报错，然后把这些文件放到一个新文件夹，文件夹命名为chatglm-6b

6.把web_demo.py和cli_demo.py里面的“THUDM/chatglm-6b”改成“chatglm-6b”

tokenizer = AutoTokenizer.from_pretrained("chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()

这里的大概意思就是为了引用模型，因为我们把下载好的模型存放在chatglm-6b的文件夹，所以这里改成chatglm-6b
其次：代码部分还有一处要修改。
如果你的GPU 是8G。

7.这个时候运行web_demo.py文件，应该可以加载模型。
但是会报错。
报错如下：Torch not compiled with CUDA enabled
所以要保证两点：
（1）存在AUDC
（2）torch的版本和AUDC要一致。

具体步骤：
第一，先检查是否有AUDC，打开终端cmd输入：nvcc -V
如果提示：无法找到 “nvcc” 命令，说明没有安装AUDC
第二，打开终端，输入命令行 nvidia-smi，可以查看电脑AUDC可以兼容的最高版本

笔者这里也是走了很多弯路，刚开始笔者的电脑比较老旧，后面升级了cuda和nvidia的驱动版本，之前是388，升级后是551版本，记得一定要升级，不然后面各种报错，具体怎么升级看下教程，网上有，总之升级到新版。

第三，AUDC下载安装网址：
https://blog.csdn.net/David_house/article/details/125314103
我下载的是11.8版本
这里再附一个AUDC卸载网址：
https://blog.csdn.net/m0_37605642/article/details/99100924

第四：pycharm 用terminal:
输入命令行：pip install -r requirements.txt
第五：需要卸载torch。
pycharm终端运行pip uninstall torch
第六：需要安装与AUDC对应版本的torch。
访问torch官网：https://pytorch.org/

Start Locally | PyTorch
————————————————

      注意 

transformers ，gradio这两个包默认安装pip升级都是最新版，后面会报错

建议tansformers==4.33.2,gradio==3.50.0

大于这个版本都会报错，笔者都是报错后回退版本的然后可以了

把上面框的命令行放到pycharm 的terminal 运行。就安装正确了正确的torch。
最后，运行web_demo.py 在模型加载完成后，稍微等2分钟（笔者显卡太差，跑了20多分钟才跑出来，都是泪，以后有钱了换个4090Ti），一个网页就打开了，这时就可以使用chatglm-6b啦。
这里引用了几篇文章，感谢这些作者。