ubuntu从零部署baichuan2大模型_ubuntu 大模型

目录

一、百川2（Baichuan 2）模型介绍

二、资源需求

三、安装部署

本文从实战过程中整理一份从零开始的搭建开源大模型的部署文档，供大家学习交流。

部署大模型版本为baichuan2-13B chat，如果需要量化可下载量化版本 。

一、百川2（Baichuan 2）模型介绍

首先先简单介绍一下百川推出的两款开源模型：Baichuan2-13B 和 Baichuan2-7B

Baichuan 2 是百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。并且在多个权威的中文、英文和多语言的通用领域 benchmark 上取得同尺寸最佳效果。这次发布包含有 7B、13B 的 Base 和 Chat 版本，而且提供了 Chat 版本的 4bits 量化。

以上两个模型都是在Hugging Face、GitHub和Model Scope平台上发布的，你可以在这些平台上找到更多的信息和下载模型。

所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用

Baichuan2-13B

• 模型规模：Baichuan2-13B模型包含130亿参数。
• 特点：
  • Baichuan-13B在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，具有更大的参数规模，它可以捕捉到更多的信息和细节。
  • Baichuan2-13B在多项经典的NLP任务中取得了世界领先的效果，尤其是在零样本任务中表现突出，具有更强的泛化能力和适应性，它可以在不经过特定任务训练的情况下，直接处理新的语言任务。
  • 为了满足用户不同的部署需求，百川还提供了Chat版本的4bits量化模型。

Baichuan2-7B

• 模型规模：Baichuan2-7B模型包含70亿参数。
• 特点：
  • 虽然比13B小，但仍然是一个大型模型，拥有70亿参数。
  • 与13B模型类似，7B模型也提供了Base和Chat两个版本。
  • 在中文 C-EVAL 的评测中，baichuan-7B 的综合评分达到了 42.8 分，超过了 ChatGLM-6B 的 38.9 分，甚至比某些参数规模更大的模型还要出色。

二、资源需求

模型文件类型

7B模型，又分为基座，对齐，对齐的4bits量化模型3个子类型。

13B模型，又分为基座，对齐，对齐的4bits量化模型3个子类型。

一共6种类型，可根据自身情况选择。

推理的GPU资源要求