菜鸟教程：从0开始离线部署私有大模型_离线大模型

大模型的使用必将包含以下三个阶段：

1. 直接使用，用于提效

2. 使用 API 定制应用程序

3. 离线部署+微调，实现私有数据模型化

第一个阶段已经完成，作为技术者应该关注第二、三阶段。今天我们教大家从0开始离线部署私有大模型，过程十分详细，再菜的鸟都能学的会，记不住的点赞收藏，上机实操下。

1. 环境安装和配置

我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。

实验使用的环境如下：

Windows11

13700KF

32G内存

RTX 3090 24G显存

ChatGLM-6B 可在最小 6GB 显存运行。如果没有合适的显卡或者想体验完整版，可以购买云服务商的 A100 GPU 服务器试用。以阿里云为例，最便宜的每小时 38 元左右。

2. 安装 Python

Python 官网下载并安装 Python，记得选上“Add python.exe to PATH”。

3. 安装 CUDA

由于 PyTorch 最新只能支持 11.8 的显卡驱动，不能安装最新版 CUDA。

在 Nvidia 官网 下载 11.8 的 CUDA Toolkit Archive。

4. 安装 PyTorch

在 PyTorch 官网 执行对应版本的安装命令。

5. 安装 git

从 git 官网 下载 git。

6. 部署代码

使用下面git命令Clone 代码：

git clone https://github.com/THUDM

/ChatGLM-6B.git

  

【安装依赖】

  

cd ChatGLM-6B

pip install -r requirements.txt

  


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

【下载模型】

代码在执行时默认自动下载模型。如果没有使用魔法，你需要手动下载模型。在 清华大学云盘 下载模型，假设下载到 D:\chatglm-6b-models

7. 运行代码

启动 Python

ChatGLM-6B 返回了“你好