devbox
菜鸟追梦旅行
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

ChatGLM3-6B云服务器部署教程（保姆级）_chatglm3-6b部署

作者：菜鸟追梦旅行 | 2024-03-05 04:52:20

赞

踩

chatglm3-6b部署

首先声明，基础较好的同学可以直接去看ChatGLM的官方，里面写得也很详细：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

本地环境安装

在上述的ChatGLM-6B官方项目里，提供了requirements.txt文件。将项目克隆到本地，直接命令行：pip install -r requirements.txt 即可，这样环境就安装好了。

我的pytorch包是自己手动安装的，没有通过它的文档自动安装。

建议用conda新建一个虚拟环境来独立管理，防止包的冲突，这是一个好的习惯。

如果你不打算本地跑模型，那本地环境不搭建也是可以的，直接跳过这步！

本地模型下载

方法一：代码直接调用

可以通过如下代码，直接调用 ChatGLM-6B 模型：

  1. from transformers import AutoTokenizer, AutoModel
  2. tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  3. model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
  4. model = model.eval()
  5. response, history = model.chat(tokenizer, "你好", history=[])
  6. print(response)
  7. #你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/189611
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。