devbox
凡人多烦事01
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【LangChain实战】开源模型学习（2）-ChatGLM3_chatglm3 langchain

作者：凡人多烦事01 | 2024-03-17 10:10:46

赞

踩

chatglm3 langchain

介绍

        ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

  1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。

  2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。

  3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

        ChatGLM3 开源模型旨在与开源社区一起推动大模型技术发展，恳请开发者和大家遵守开源协议，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。目前，本项目团队未基于 ChatGLM3 开源模型开发任何应用，包括网页端、安卓、苹果 iOS 及 Windows App 等应用。

        尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 ChatGLM3-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确。同时模型的输出容易被用户的输入误导。

模型列表

Model

Seq Length

Download

ChatGLM3-6B

8k

HuggingFace | ModelScope

ChatGLM3-6B-Base

8k

HuggingFace | ModelScope

ChatGLM3-6B-32K

32k

HuggingFace | ModelScope

使用方式

环境安装

        首先需要下载本仓库：

  1. git clone https://github.com/THUDM/ChatGLM3
  2. cd ChatGLM3

        然后使用 pip 安装依赖：

pip install -r requirements.txt

  • transformers 库版本应该 4.30.2 以及以上的版本 ，torch 库版本应为 2.0 及以上的版本，以获得最佳的推理性能。

  • 为了保证 torch 的版本正确，请严格按照 官方文档 的说明安装。

  • gradio 库版本应该为 3.x 的版本。

代码调用

        可以通过如下代码调用 ChatGLM 模型来生成对话：

  1. >>> from transformers import AutoTokenizer, AutoModel
  2.  
  3. >>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
  4.  
  5. >>> model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
  6.  
  7. >>> model = model.eval()
  8.  
  9. >>> response, history = model.chat(tokenizer, "你好", history=[])
  10.  
  11. >>> print(response)
  12.  
  13. 你好
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/255479
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。