devbox
繁依Fanyi0
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

python&anconda系列：【ChatGLM2-6B】运行问题、【ChatGLM2-6B】环境部署_chatglm2运行时没有回复

作者：繁依Fanyi0 | 2024-04-04 19:52:10

赞

踩

chatglm2运行时没有回复

【ChatGLM2-6B】环境部署

完整部署过程：

  1. Anacond安装
    Python&aconda系列：Anacond、Miniconda的下载安装配置教程详解

  2. CUDA、cuDNN安装
    python&anconda系列（亲测有效）：window11系统CUDA、cuDNN 安装以及环境变量配置

  3. Pytorch安装
    Python&anconda系列（亲测有效）：安装pytorch以及报错AssertionError: Torch not compiled with CUDA enabled解决方法

  4. 【ChatGLM2-6B】下载并启动
    python&anconda系列：ChatGLM:本地化搭建大模型实例

可能遇到的问题

Anacond系列：
Pytorch系列



【ChatGLM2-6B】问题解决

一. cannot import name ‘Doc‘ from ‘typing_extensions‘

问题描述

在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候，出现如下错误

cannot import name 'Doc' from 'typing_extensions'

  • 1
问题原因

因为安装的typing_extensions版本不正确，需要重新安装

解决方案

运行: pip install typing_extensions==4.8.0

如果出现: Requirement already satisfied: typing_extensions==4.8.0 in /xxx

需要运行: pip install typing_extensions==4.8.0 --force-reinstall
–force-reinstall参数会先缷载再重新安装

二. ImportError: cannot import name ‘_illegal’ from 'sympy.core.numbers’错

根据提供的引用内容，出现ImportError: cannot import name ‘_illegal’ from 'sympy.core.numbers’错误可能是由于sympy库版本不兼容或安装不完整导致的。解决此问题的方法是重新安装或升级sympy库。

你可以尝试以下解决方案：
卸载sympy库：
pip uninstall sympy

  • 1
重新安装sympy库：
pip install sympy

  • 1
如果上述方法无效，可以尝试升级sympy库：
pip install --upgrade sympy

  • 1

请注意，确保你的Python环境中没有其他与sympy库相关的问题，例如依赖项缺失或其他冲突的库。

三. DLL load failed while importing _imaging: 找不到指定的模块的解决方法 Python 文件命名引发的“module has no attribute“错误

DLL load failed while importing _imaging: 找不到指定的模块的解决方法
卸载当前版本，安装6.2.1版本

pip uninstall pillow

  • 1
pip install pillow==6.2.1 -i https://pypi.tuna.tsinghua.edu.cn/simple/****

  • 1

Python 文件命名引发的"module has no attribute"错误
保存py文件命名时，一定要注意，不能与导入的模块重名

因为import dgl，会先在当前目录下查找有没有dgl模块,即dgl.py文件。找到了就导入，也就是说这里导入的就是自己。自然就无法使用turtle模块的对象。

四. python 报错 ModuleNotFoundError: No module named ‘chardet‘ 解决方法

报错信息

错误信息：

ModuleNotFoundError: No module named 'chardet'

  • 1

错误截图：
在这里插入图片描述

解决办法一

通过如下命令安装chardet模块：

pip install chardet

  • 1

运行上面的命令后如果出现以下错误，多数被墙，截图如下：
在这里插入图片描述

解决方法二

手动下载chardet模块，下载地址如下：

https://github.com/chardet/chardet

  • 1

将下载的文件解压到相应的目录中，比如：E:\Python\chardet，截图如下：

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
通过命令行进入到chardet目录，执行setup.py文件进行安装，命令如下：

python setup.py install

  • 1

命令截图如下：

在这里插入图片描述
在这里插入图片描述
安装结束后，查看是否已经安装成功

pip list

  • 1

五. chatglm2-b部署报错问题‘Textbox‘ object has no attribute ‘style‘

我们在部署chatglm2-b的时候可能出现’Textbox’ object has no attribute 'style’的问题
在这里插入图片描述

这是因为安装的第三方库gradio版本太高，降低版本即可。

在这里插入图片描述

安装3.50.0或者3.49.0都可以。

六. RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 8.00 GiB total capacity； 1

下载下来的源代码，在web_demo.py文件中的第6-7行：

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)

  • 1
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda')

  • 1

修改后：

tokenizer = AutoTokenizer.from_pretrained("E:\ChatGLM2-6B-main\model", trust_remote_code=True)

  • 1
model = AutoModel.from_pretrained("E:\ChatGLM2-6B-main\model", trust_remote_code=True).half().quantize(4).cuda()

  • 1

其中E:\ChatGLM2-6B-main\model为我电脑模型下载位置，更改为你自己的即可。
half().quantize(4).cuda() 这个需要根据你电脑实际显卡GPU进行更改。

# 6G 显存可以 4 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(4).cuda()

  • 1
  • 2
# 10G 显存可以 8 bit 量化
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().quantize(8).cuda()

  • 1
  • 2
# 14G 以上显存可以直接不量化，
model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 

  • 1
  • 2

笔者是8G内存，是不是可以这样改

trust_remote_code=True).half().quantize(6).cuda()

  • 1

答案是否定的，因为会报错

在这里插入图片描述

只能是4或8，源码里有写，否则会报错

在这里插入图片描述

七. 提出了问题，回答空白

在这里插入图片描述

科学上网后

在这里插入图片描述

只是一闪，还是空白（这是笔者尝试了好多次抓的截图），可能笔者用的是免费的科学上网工具吧






太空眼睛

【ChatGLM2-6B】问题解决cannot import name ‘Doc‘ from ‘typing_extensions‘

岁岁平安·年年岁岁·岁岁年年

DLL load failed while importing _imaging: 找不到指定的模块的解决方法 Python 文件命名引发的“module has no attribute“错误

whatday

python 报错 ModuleNotFoundError: No module named ‘chardet‘ 解决方法

我不会深度学习

chatglm2-b部署报错问题‘Textbox‘ object has no attribute ‘style‘

sen1112

【AI-ChatGLM2】ChatGLM2-6B Wind+GPU本地部署流程

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/360744
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号