十三、大模型项目部署与交付_大模型服务端部署

1 硬件选型

1. CUDA 核心和 Tensor 核心

• CUDA 核心：是NVIDIA开发的并行计算平台和编程模型，用于GPU上的能用计算，可做很多的工作。应用在游戏、图形渲染、天气预测和电影特效
• Tensor 核心：张量核心，专门设计用于深度学习的矩阵运算，加速深度学习算法中的关键计算过程

2. 常用的GPU
   

3. LPU
   

Jonathan Ross - 前谷歌工程师,参与设计 TPU 芯片核心。后创办 Groq 公司,创造了世界首个语言处理单元 LPU™。
LPU™ 推理引擎可提供卓越 AI 工作负载速度,比其他领先供应商快 18 倍。

4. 云服务

国内主流云服务厂商

• 阿里云：https://www.aliyun.com/product/ecs/gpu
• 腾讯云：https://cloud.tencent.com/act/pro/gpu-study
• 火山引擎：https://www.volcengine.com/product/gpu

国外主流云服务厂商

• AWS：https://aws.amazon.com
• Vultr：https://www.vultr.com
• TPU：https://cloud.google.com/tpu

5. 算力平台
   主要用于学习和训练，不适合提供服务。

• Colab：谷歌出品，升级服务仅需 9 美金。https://colab.google.com
• Kaggle：免费，每周 30 小时 T4，P100 可用。https://www.kaggle.com
• AutoDL：价格亲民，支持 Jupyter Notebook 及 ssh，国内首选。https://www.autodl.com

2 全球大模型选型

1. 国产大模型
   国产模型列表

2. chat-lmsys
   
3. llmmodels
   
4. opencompass
   
5. huggingface
   
6. maximumtruth
   

3 OLLAMA部署

1. https://ollama.com/
   
2. ollama run llama3
   
3. run llama3

4. OpenWebUI 前端页面与大模型交互

open-webui

4 VLLM部署

1. vllm
   

vLLM 是一个快速且易于使用的库，用于进行大型语言模型（LLM）的推理和服务。它具有以下特点：

• 速度快：
  在每个请求需要 3 个并行输出完成时的服务吞吐量。vLLM 比 HuggingFace Transformers（HF）的吞吐量高出 8.5 倍-15 倍，比 HuggingFace 文本生成推理（TGI）的吞吐量高出 3.3 倍-3.5 倍

• 优化的 CUDA 内核

• 灵活且易于使用：

• 与流行的 Hugging Face 模型无缝集成。

• 高吞吐量服务，支持多种解码算法，包括并行抽样、束搜索等。

• 支持张量并行处理，实现分布式推理。

• 支持流式输出。

• 兼容 OpenAI API 服务器。

支持的模型
vLLM 无缝支持多个 Hugging Face 模型，包括 Aquila、Baichuan、BLOOM、Falcon、GPT-2、GPT BigCode、GPT-J、GPT-NeoX、InternLM、LLaMA、Mistral、MPT、OPT、Qwen 等不同架构的模型。

2. installation

# (Recommended) Create a new conda environment.
conda create -n myenv python=3.9 -y
conda activate myenv

# Install vLLM with CUDA 12.1.
pip install vllm
1
2
3
4
5
6

3. Prepared Model
   以Yi-6B-Chat为例， 这个模型需要提前下载到服务器
4. Run

python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --trust-remote-code --port 6006
1

使用autodl算力服务

curl https://u394727-bf57-ff9e7382.westb.seetacloud.com:8443/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/root/autodl-tmp/Yi-6B-Chat",
        "max_tokens":60,
        "messages": [
            {
                "role": "user",
                "content": "你知道承德吗？"
            }
        ]
    }'
1
2
3
4
5
6
7
8
9
10
11
12

5. 分布式推理
要运行多 GPU 服务，请在启动服务器时传入 --tensor-parallel-size 参数。

例如，要在 2 个 GPU 上运行 API 服务器：

python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/Yi-6B-Chat --dtype auto --api-key token-agiclass  --trust-remote-code --port 6006 --tensor-parallel-size 2
1

5 Dify部署

1. dify
   
2. installation

cd docker
docker compose up -d
1
2

6 内容安全

敏感词库管理与用户输入过滤：

• 定期更新敏感词汇和短语库，应对文化变迁和当前事件。
• 使用第三方服务或自建工具进行实时输入过滤和提示。推荐使用：
  • 网易易盾：https://dun.163.com/product/text-detection
  • 百度文本内容安全：https://ai.baidu.com/tech/textcensoring

7 备案步骤

什么情况下要备案？

• 对于 B2B 业务，不需要备案。
• 但在 B2C 领域，一切要视具体情况而定。
• 如果我们自主训练大型模型，这是必要的。
• 但如果是基于第三方模型提供的服务，建议选择那些已获得备案并且具有较大影响力的模型。
• 如果你使用了文心一言的模型，可以向他们的客服要相关算法备案号。

备案指南 && 申请引导

beian

yuque