ChatGLM3 模型学习与实战_chatglm3怎么下载

一，说明

Github 代码：https://github.com/THUDM/ChatGLM3
模型地址：
huggingface：https://huggingface.co/THUDM/chatglm3-6b
modelscope：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary

二、前言

1. 背景

智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品，这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。

2. 系统说明

CUDA 11.7
Python 3.10
pytorch 2.0.1

3. 相比于ChatGLM2-6B进行的 性能升级

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

1. 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
2. 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
3. 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

4. 模型列表

三、环境搭建

模型的常见下载方法

1. 下载代码

$ git clone https://github.com/THUDM/ChatGLM3
$ cd ChatGLM3
1
2

2 构建环境

$ conda create -n py310_chat python=3.10       # 创建新环境
$ source activate py310_chat                   # 激活环境
1
2

3 安装依赖

$ pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
1

!! 注：其中 transformers 库版本推荐为 4.30.2，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。

4. 大模型下载方式

4.1 安装 lfs 方便本地下载 ChatGLM2-6B 大模型

从 Hugging Face Hub 下载模型实现和参数 到本地，后期使用 只需要 从本地下载即可。

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
1
2

!! 注：模型的实现仍然处在变动中。如果希望固定使用的模型实现以保证兼容性，可以在 from_pretrained 的调用中增加 revision="v1.0" 参数。v1.0 是当前最新的版本号，完整的版本列表参见 Change Log。

4.2 Hmodelscop 上手动下载模型及其文件 【推荐】

1. 安装 modelscope
   $ pip install modelscope
2. 使用 modelscope 下载 Chatglm3

# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('THUDM/chatglm3-6b', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。 
1
2
3
4
5

4.3 Huggingface的镜像网站下载

镜像：模型镜像网站地址

四、模型推理

可以通过如下代码调用 ChatGLM 模型来生成对话：

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
>>>
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

你好
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/418333