ChatGLM使用记录_chatglm文字描述与操作对应

ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

• 官方网站：https://chatglm.cn/

• 项目地址：https://github.com/THUDM/ChatGLM-6B

• 相关PPT：ChatGLM: 从千亿模型到ChatGPT

• 相关实践：https://www.heywhale.com/mw/project/643977aa446c45f4592a1e59

安装

先clone项目：

git clone https://github.com/THUDM/ChatGLM-6B.git
1

然后进入项目ChatGLM-6B后，安装需要的环境

pip install -r requirements.txt
1

其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。

此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1。

下载本地模型

基于自己硬件条件来安排：

目前模型越大，性能越好，对应的地址有：

• https://huggingface.co/THUDM/chatglm-6b/
• https://huggingface.co/THUDM/chatglm-6b-int8
• https://huggingface.co/THUDM/chatglm-6b-int4

这里以fp16为例，不做量化处理。进入https://huggingface.co/THUDM/chatglm-6b/tree/main

创建chatglm-6b文件夹并进入

将所有的文件都下载到该文件夹下：

如果是已联网的远程服务器，可以直接通过wget下载，下载链接就是那个下载符号对应的链接：

wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model-00001-of-00008.bin
1

代码调用

可以通过如下代码调用 ChatGLM-6B 模型来生成对话：

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-fp16", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/501677