山东大学软件学院创新实训VCR系统个人博客_qwen72b显存要求

本博客为山东大学软件学院2024创新实训，25组可视化课程知识问答系统（VCR）的个人博客，记载个人任务进展。

第七周：对ChatGLM3进行本地部署

如何进行大语言模型Qwen-72B的本地部署

大语言模型Qwen-72B的本地部署过程涉及多个步骤，以下是详细的部署指南：

1. 环境准备

1.1 硬件要求

• 显卡：由于Qwen-72B是一个大模型，对显卡的要求较高。运行BF16或FP16模型需要多卡至少144GB显存（例如2xA100-80G）。运行Int4模型至少需要48GB显存（例如1xA100-80G）。
• CPU：虽然没有特定的CPU要求，但高性能的CPU将有助于提高整体性能。

1.2 软件要求

• 操作系统：使用Linux系统，因为深度学习模型通常在Linux上运行得更好。
• Python：版本3.8及以上。
• PyTorch：版本2.0及以上。
• CUDA：版本11.4及以上。

2. 安装依赖

以下是详细的安装依赖过程：

1. 准备Python环境

首先，确保你的系统上已经安装了Python。Qwen-72B通常需要Python 3.8或更高版本。你可以通过运行python3 --version来检查已安装的Python版本。

2. 创建虚拟环境

为了避免与系统全局的Python环境产生冲突，为Qwen-72B创建一个独立的Python虚拟环境。可以使用venv来创建虚拟环境。

使用venv创建虚拟环境的示例：

bash

3. 安装PyTorch

Qwen-72B基于PyTorch框架，需要安装合适版本的PyTorch。

示例安装命令（CUDA版本为11.7）：

bash

4.安装其他依赖项

通常，项目的依赖项会列在一个名为requirements.txt的文件中。需要安装这些依赖项，以确保Qwen-72B能够正常运行。

bash

如果没有提供requirements.txt文件，需要手动安装一些常见的依赖项，如transformers、numpy、tqdm等。

5. 验证安装

安装完成后，通过运行一些简单的Python代码来验证安装是否成功。

完成上述步骤后，应该已经成功安装了Qwen-72B的本地部署所需的所有依赖项。接下来，可以按照项目的说明来加载和运行模型。

3. 下载模型

1. 确定下载地址

Qwen-72B的模型文件通常可以在多个平台上找到，包括但不限于Hugging Face、GitHub、AI Fast Hub等。

2. 选择合适的模型版本

Qwen-72B可能有多个版本，包括预训练版本、微调版本等。根据需求选择合适的版本。

3. 下载模型文件

使用你选择的下载工具（如Git）从上述地址下载模型文件。

模型文件通常包括模型权重（.pth或.pt文件）和配置文件（.json或.yaml文件）。确保下载所有必要的文件。

4. 验证模型文件完整性

在下载完成后，验证模型文件的完整性是很重要的。这可以通过检查文件的哈希值（如MD5、SHA-256等）来完成。

可以在模型的发布页面或相关文档中找到这些哈希值，并使用适当的工具进行验证。

5. 解压和准备模型文件

如果下载的模型文件是压缩的（如.zip、.tar.gz等），你需要使用适当的工具进行解压。

将解压后的文件放置在适当的目录中，并确保你的代码可以访问这些文件。