大模型笔记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本v0.5.3.post1

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

感谢：星鸾云提供8卡A800测试环境，本次部署教程均在星鸾云平台完成
邀请链接：https://xl.hzxingzai.cn/register?invitation_code=8707231444

Meta 的新一代开源大语言模型
vllm Blog：https://blog.vllm.ai/2024/07/23/llama31.html

一、硬件环境

GPU：A800 80GB PCIe * 8 卡
CPU：112 核
内存：880 G

二、软件环境

Python：Miniconda
CUDA Version:12.3

三 . 模型下载

• 使用魔搭下载脚本

#1.安装依赖
pip install modelscope 
#2.新建download.py 填入下面文件
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Meta-Llama-3.1-405B-Instruct-FP8',cache_dir='/user/data/model')
#3.开始下载
python download.py
1
2
3
4
5
6
7

1.环境准备

新建 conda虚拟环境

conda create -n llama405 python=3.10

conda activate llama405 
1
2
3

安装vLLM

pip install -U vllm
#清华源加速 -i https://pypi.tuna.tsinghua.edu.cn/simple
1
2

### 启动脚本

## 环境检查

```bash
pip freeze | grep vllm
vllm==0.5.3
vllm-flash-attn==2.5.9.post1
1
2
3
4
5
6
7
8
9

启动命令

python -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 8000 --gpu-memory-utilization 0.99 --max-model-len=16384 --served-model-name Llama-3.1-405B-Instruct-FP8 --model /root/xinglin-data/Llama-3.1-405B-Instruct-FP8 --kv-cache-dtype fp8_e4m3 --trust-remote-code --tensor-parallel-size 8
1

python -m vllm.entrypoints.openai.api_server 
--host 0.0.0.0 
--port 8000 
--gpu-memory-utilization 0.99 
--max-model-len=16384 
--served-model-name Llama-3.1-405B-Instruct-FP8 
--model /root/xinglin-data/Llama-3.1-405B-Instruct-FP8 
--kv-cache-dtype fp8_e4m3 
--trust-remote-code 
--tensor-parallel-size 8
1
2
3
4
5
6
7
8
9
10

启动日志截取

FP8 量化损失

对接到fastgpt