【一次成功】清华大学和智谱AI公司的ChatGLM-4-9B-Chat-1M大模型本地化部署教程_the attention mask is not set and cannot be inferr

一、环境准备

• 操作系统：Windows 10 Intel® Core™ i7-14700KF 3.40 GHz 32G
• Python：v3.12.2
• pip：24.0
  

二、ChatGLM-4-9B-Chat-1M简介

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。 本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。还推出了支持 1M 上下文长度（约 200 万中文字符）的模型。

三、模型下载

2.1 安装Git LFS

因为模型的问件较大，下载的话需要用到大文件插件，点击官网进行下载安装。

2.2 初始化仓库

git lfs install
1

2.3 同步Git文件

从阿里云的魔搭社区仓库文件中同步。

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat-1m.git GLM-4-9B-Chat-1M
1

2.4 拉取文件

git lfs pull   

1
2

2.5 下载完毕

共计10个模型文件，每个约1.8G。

四、python和源码安装与下载

这里笔者走了两次弯路，

1. python版本太高，下载了最新版本的文件，安装不了依赖，前提是没有按照requirements文件版本进行安装；
2. 依赖直接下载，没有按照requirements文件进行下载，运行脚本时报以下错误，尝试解决未果，还是归结到环境。

The attention mask is not set and cannot be inferred from input because pad
1

4.1 安装python

从华为云镜像文件源下载。

4.2 下载源码

官方源码地址为：

https://github.com/THUDM/GLM-4.git   

1
2

4.3 安装依赖

运行此命令从清华大学镜像源下载依赖。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

1
2

requirements.txt文件在源码目录下。

requirements.txt文件内容：

# 依赖项解释

## vllm
- **版本要求：** >=0.5.0
- **作用：** `vllm` 可能是指一个与机器学习相关的库，特别是用于语言模型。具体的细节和功能取决于库的实现。

## torch
- **版本要求：** >=2.3.0
- **作用：** `torch` 是 PyTorch 库，一个流行的开源机器学习库，用于 Python，提供广泛的 API 用于数值计算和神经网络。

## torchvision
- **版本要求：** >=0.18.0
- **作用：** `torchvision` 是 PyTorch 的视觉库，提供图像处理工具、数据集和预训练模型，主要用于计算机视觉任务。

## transformers
- **版本要求：** ==4.40.0
- **作用：** `transformers` 是 Hugging Face 提供的库，提供用于使用各种预训练模型（如 BERT、GPT-2 等）的 API，主要用于自然语言处理。

## huggingface-hub
- **版本要求：** >=0.23.1
- **作用：** `huggingface-hub` 是 Hugging Face 仓库的 Python 客户端，允许用户下载和使用模型、数据集和其他资源。

## sentencepiece
- **版本要求：** >=0.2.0
- **作用：** `sentencepiece` 是一个文本处理库，提供了一个无监督的文本分词器，用于文本分割和tokenization。

## pydantic
- **版本要求：** >=2.7.1
- **作用：** `pydantic` 是一个数据验证和设置管理工具，用于 Python 3.6+ 的类型提示，用于验证和序列化数据。

## timm
- **版本要求：** >=0.9.16
- **作用：** `timm` 是一个深度学习图像模型的 Python 库，提供了多种预训练模型和模型实用程序。

## tiktoken
- **版本要求：** >=0.7.0
- **作用：** `tiktoken` 是一个用于分割和计数 tokens 的库，常用于处理自然语言数据，特别是在使用特定模型时。

## accelerate
- **版本要求：** >=0.30.1
- **作用：** `accelerate` 是一个轻量级的库，用于加速 PyTorch 模型的训练，提供简单的 API 来优化训练过程。

## sentence_transformers
- **版本要求：** >=2.7.0
- **作用：** `sentence_transformers` 是一个用于计算句子、文档等的向量表示的 Python 库，提供了多种预训练模型。

## gradio
- **版本要求：** >=4.33.0
- **作用：** `gradio` 是一个用于创建简单 UI 的库，用于演示和测试机器学习模型，可以快速创建交互式界面。

## openai
- **版本要求：** >=1.34.0
- **作用：** `openai` 是 OpenAI API 的 Python 客户端，用于访问 OpenAI 的各种模型和服务，如 GPT-3。

## einops
- **版本要求：** >=0.7.0
- **作用：** `einops` 是一个用于张量操作的库，提供了一种简洁和可读的方式来重写、重塑和组合张量。

## sse-starlette
- **版本要求：** >=2.1.0
- **作用：** `sse-starlette` 是一个用于在 Python 3.6+ 中实现服务器发送事件（SSE）的库，用于构建实时 web 应用。

## bitsandbytes
- **版本要求：** >=0.43.1
- **作用：** `bitsandbytes` 是一个库，用于在 PyTorch 中实现更高效的内存使用和计算，特别是在使用低精度计算时。

## peft
- **版本要求：** >=0.11.0
- **作用：** `peft` 是 Parameter-Efficient Fine-Tuning 的缩写，是一个库，用于实现参数高效的微调方法，用于自然语言处理模型。如果你不使用 PEFT 微调模型，则不需要这个依赖项。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70

4.4 python项目目录

my_project/
|-- .git/                  # Git版本控制目录（如果使用Git）
|-- .gitignore             # Git忽略文件，用于指定不被Git跟踪的文件和目录
|-- .env                   # 环境变量文件，用于存储项目配置和环境变量
|-- .env.example           # 环境变量示例文件，用于提供给开发者参考
|-- .editorconfig          # 编辑器配置文件，用于统一不同编辑器的代码风格
|-- README.md              # 项目说明文件，使用Markdown格式
|-- LICENSE                # 项目许可证文件
|-- requirements.txt       # Python项目依赖文件，列出所有依赖的包和版本
|-- setup.py               # 项目安装脚本，用于安装项目及其依赖
|-- pytest.ini             # Pytest测试配置文件（如果使用Pytest）
|-- tests/                 # 测试目录，包含所有的测试代码
|   |-- __init__.py
|   |-- test_example.py
|-- src/                   # 源代码目录（推荐使用src来避免与第三方包混淆）
|   |-- my_project/        # 项目包目录
|       |-- __init__.py
|       |-- main.py        # 主程序入口
|       |-- utils.py       # 工具函数和类
|       |-- models/        # 模型目录
|           |-- __init__.py
|           |-- my_model.py
|       |-- data/          # 数据处理目录
|           |-- __init__.py
|           |-- dataset.py
|       |-- controllers/   # 控制器目录（如果使用MVC架构）
|           |-- __init__.py
|           |-- controller.py
|       |-- views/         # 视图目录（如果使用MVC架构或模板渲染）
|           |-- __init__.py
|           |-- templates/
|               |-- base.html
|               |-- index.html
|-- docs/                  # 项目文档目录
|   |-- index.rst
|   |-- ...
|-- examples/              # 示例代码目录
|   |-- example.py
|-- scripts/               # 脚本目录，包含可执行脚本
|   |-- run.sh
|-- config/                # 配置文件目录
|   |-- settings.py
|-- logs/                  # 日志文件目录
|-- .vscode/               # VS Code工作区配置目录（如果使用VS Code）
|-- Dockerfile             # Docker镜像构建文件
|-- docker-compose.yml     # Docker容器编排文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

五、运行

5.1 修改运行文件

修改trans_cli_demo.py文件

更改的内容为：

5.2 运行文件

 python.exe .\trans_cli_demo.py
1

5.3 执行结果

每个字的推理速度差不多是30s。