当前位置:   article > 正文

ChatGLM-6B 本地安装、部署和运行的常见问题解答及优化建议_chatglm-6b 部署常见报错

chatglm-6b 部署常见报错

分享一点自己本地安装部署运行 ChatGLM-6B 的过程中的心得和二次优化开发吧。主要是比如怎么防止GPU运行时爆显存,GPU运行时减少显存占用,一些常见的报错应该怎么解决,推理参数的调整方案,怎么开启局域网访问,怎么给网页加上HTTPS。


 目录

ChatGLM-6B 常见报错及解决方案

报错 No module named ‘transformers_modules.THUDM/chatglm-6b’

报错 not enough memory: you tried to allocate 123456789 bytes.

报错 AssertionError: Torch not compiled with CUDA enabled

ChatGLM-6B 减少显存与内存占用

ChatGLM-6B 加载量化模型

ChatGLM-6B 优化多轮对话后的内存/显存占用大,解决爆显存问题

ChatGLM-6B 的推理参数含义

Maximum length 参数

Top P 参数

Temperature 参数

ChatGLM-6B 其他设置

ChatGLM-6B 开启网页远程分享

ChatGLM-6B 开启局域网访问/开启公网访问

ChatGLM-6B 修改本地网页端口号

目前正在做的调试


ChatGLM-6B 常见报错及解决方案

报错 No module named ‘transformers_modules.THUDM/chatglm-6b’

报错本身的意思是,没有在指定的路径THUDM/chatglm-6b找到推理用模型
一般常见于自己手动下载模型,而不是通过下边这些文件直接启动,自动下载的情况
你需要修改web_demo.pyweb_demo.pyold_web_demo2.pycli_demo.pyapi.py等文件中涉及模型路径部分的代码,一般在文件的开头或者结尾附近。

  1. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  2. model = AutoModel.from_pretrained
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/817565
推荐阅读
相关标签
  

闽ICP备14008679号