devbox
Monodyee
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

两小时搭建自己的ChatGLM免硬件_no module named 'rouge_chinese

作者：Monodyee | 2024-04-17 08:38:28

赞

踩

no module named 'rouge_chinese

目录

准备（注册）:

搭建:

API模式:

测试：

总结：

准备硬件（注册）:

注册modelscope(底层阿里云)免费使用服务器

https://modelscope.cn/

按照图片里的选择(选择其他好像不能创建成功)

可以白嫖60多个小时的配置

8核 32GB 显存16G
预装 ModelScope Library
预装镜像 ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0

ChatGLM-6B介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

硬件需求

量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
FP16（无量化）13 GB14 GB
INT88 GB9 GB
INT46 GB7 GB

搭建:

https://github.com/THUDM/ChatGLM-6B#代码调用

按照官网提示操作即可

  1. >>> from transformers import AutoTokenizer, AutoModel
  2. >>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
  3. >>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
  4. >>> model = model.eval()
  5. >>> response, history = model.chat(tokenizer, "你好", history=[])
  6. >>> print(response)
  7. 你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/439215
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。