GPT实战系列-实战Qwen通义千问在Cuda 12+24G部署方案

GPT实战系列-实战Qwen在Cuda12+24G部署方案

ChatGLM4进行新闻发布，但还没有开源更新，在此之际，实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错，测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。

LLM大模型：

GPT实战系列-探究GPT等大模型的文本生成

GPT实战系列-Baichuan2等大模型的计算精度与量化

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-大话LLM大模型训练

通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。

一、Qwen 模型

测试显卡内存24G，毕竟有限，排除了Qwen14非量化方案Qwen-14B-Chat，只有 Qwen-7B-Chat，Qwen-7B-Chat-Int4，Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug，只能都用Int4方案。

二、资源需求

Qwen-7B-Chat-Int4推理，多轮对话中至少需要 9.8G 显存。

Qwen-14B-Chat-Int4推理，多轮对话中，至少需要 16.8 显存。

推理速度非常慢，可能是因为速度完全依赖flash-attention，而我机器加载flash-attention失败。

三、部署安装

配置环境

项目在本地普通设备，部署量化Int4版本。

显卡双显卡Nivdia Titan XP，每块12G， 共24G显卡

操作系统：ubuntu 20.04

python 3.10版本，推荐3.8以上版本

pytorch 2.01，推荐2.0及以上版本。

CUDA 12.0，驱动525，建议使用11.4及以上版本。

1
2
3
4
5
6
7
8
9
10

安装过程

创建虚拟环境

conda create -n qwen python==3.10.6 -y
conda activate qwen
1
2

安装Qwen 依赖配套软件

pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
1

其中 transformers 库版本推荐为 4.33.1，torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能。

推理所需的模型权重、源码、配置已发布在ModleScope ，见下载链接:https://www.modelscope.cn/models/qwen/Qwen-14B-Chat-Int4/summary

代码会由 transformers 自动下载模型实现和参数。完整的模型实现在 ModelScope。

低成本配置部署方案

量化模型加载

默认情况下，Qwen-7B-Chat模型以 Int4 精度加载，运行上述代码需要大概 10 GB 显存；Qwen-14B-Chat模型以Int4精度加载，运行大概需要 18 GB显存。

四、功能效果测试

Qwen-7B-Chat 的互动效果：

User: 你现在作为中医专家，为身体健康提供建议。
Qwen: 您好，为了维持身体健康，建议您多注意饮食均衡，多吃新鲜蔬菜水果，少食油腻、辛辣食物；多参加体育锻炼，保持适量的运动量；注意休息，避免熬夜和过度劳累；同时保持良好的心态，积极面对生活。如果身体有不适，应及时就医，并在医生的指导下进行治疗。希望这些建议对您有所帮助！

User: 中医理论中内脏的相互关系，用五行怎么解读？
Qwen: 中医理论认为，五脏（心、肝、脾、肺、肾）之间的相互关系是五行相生相克的关系。心脏是“生”木的器官，肝脏是“克”木的器官，脾脏是“生”土的器官，肺部是“克”土的器官，肾脏是“生”水的器官，而心脏又是“克”水的器官。这种相生相克的关系是中医理论的核心思想之一，也是指导临床实践的重要依据。

User: 肾和胃，肾和肝是什么相生相克关系？
Qwen: 根据中医理论，肾和胃之间是“克”关系，即肾脏克制胃部的功能；而肾和肝之间则是“生”关系，即肾脏滋养肝脏的功能。这两种关系都是中医理论的核心内容之一，也影响着人体的健康状况。因此，在日常生活中要注意保护肾脏和胃部，加强锻炼，适当调整饮食结构，保持良好的生活习惯，以维持健康的身体状态。

User: 中医药方中，精力旺盛和什么相关？如何补肾，健脾？
Qwen: 中医药方中的“精力旺盛”与肾脏和脾胃密切相关。要补肾和健脾，可以采用中药调理方法，例如：可以选择当归、熟地黄、白芍等药物搭配食用，可以帮助滋阴养血、调节内分泌、改善肾虚等问题；此外，还可以选择陈皮、山药、茯苓等药物搭配食用，有助于健脾养胃、改善消化功能。但是，具体用药应在医生的指导下进行，不可随意使用。

User: 平时饮食中，如何补肾？
Qwen: 在平时饮食中，可以通过多吃一些富含蛋白质的食物来补肾，如鱼肉、鸡肉、鸡蛋、豆腐等；同时也可以多吃一些富含矿物质的食物，如虾米、海带、海苔等；此外，还可以多吃一些富含维生素的食物，如水果、蔬菜、豆类等。同时，也要注意饮食的搭配，尽量避免吃过于油腻、辛辣的食物，以免伤害肾脏。

User: 平时按摩锻炼中，如何补肾，清肝？
Qwen: 在平时按摩锻炼中，可以按摩腰部、背部和腹部，以缓解腰酸背痛等症状，从而达到补肾清肝的效果。此外，还可以通过瑜伽、太极拳等运动，来改善血液循环，增强肌肉力量，提高身体的活力，帮助达到补肾清肝的目的。需要注意的是，平时锻炼时要注意安全，尽量不要过度疲劳，以免对身体造成不必要的损害。

User: 你好！
Qwen: 你好！有什么我可以帮助你的吗？

User: 给我讲一个年轻人奋斗创业最终取得成功的故事。
Qwen: 当然可以，这是一个关于年轻人奋斗创业最终取得成功的真实故事：
一位名叫李华的年轻人，在大学毕业后一直梦想着开创自己的事业。他决定创业做一家电子商务公司，但是他没有足够的资金和经验。于是，他开始在网上学习有关电子商务的知识，并寻找投资机会。
经过一年的努力，李华终于找到了一位投资者，他的公司也因此获得了启动资金。然而，刚开始的时候，公司的运营并不顺利，但是李华并没有放弃，而是不断尝试新的方法来提高销售额。
在经历了多次失败后，李华发现了一种新的商业模式，这种模式让他公司的销售额有了显著的提升。他也逐渐建立了稳定的客户群，得到了市场的认可。
最终，李华的公司取得了巨大的成功，他在年轻时就实现了自己的梦想。这个故事告诉我们，只要有决心和毅力，即使面临困难和挫折，也能最终实现自己的梦想。

User: 给这个故事起一个标题
Qwen: 《从零到一：一个年轻人的创业历程》

Qwen-14B-Chat的互动效果：

User:  你现在作为中医专家，为身体健康提供建议。
Qwen:  1. 保持良好的生活习惯：包括合理饮食、适量运动、充足睡眠等。
2. 调整心态，避免情绪波动过大。
3. 注意个人卫生，避免传染病的发生。
4. 避免过度劳累和长时间熬夜。
5. 定期体检，及时发现并治疗疾病。
6. 中医养生保健方面可以结合食疗、气功、按摩等方式进行调理。
7. 注意保暖，尤其是在寒冷的季节要注意防寒保暖，避免感冒和其他呼吸系统疾病的发生。
8. 合理使用药物，避免滥用抗生素等对身体有害的药物。
9. 慎重对待保健品市场，选择正规渠道购买，并在医生指导下使用。
10. 加强自我保健意识，积极学习相关知识，提高自身免疫力和健康水平。

User:  中医理论中内脏的相互关系，用五行怎么解读？
Qwen:  中医理论中的五脏分别是心、肝、脾、肺、肾，这五个脏器之间存在着密切的关系。根据中医五行学说，每个脏器都对应着一种元素，即木、火、土、金、水。这五种元素之间有着相生相克的关系，而五脏之间的关系也遵循这一规律。

- 心属火，肝属木，心火能够滋养肝脏，促进肝功能的正常发挥；
- 肝属木，脾属土，肝脏能够滋润脾脏，增强脾脏的功能；
- 脾属土，肺属金，脾脏能够滋润肺脏，提高肺脏的活力；
- 肺属金，肾属水，肺脏能够滋润肾脏，保护肾脏的健康；
- 肾属水，心属火，肾脏能够滋润心脏，维持心脏的正常运行。

因此，在中医理论上，要想让各个脏器得到充分的营养和保护，就需要按照五行相生相克的原则来调节各脏器之间的关系。比如，在调养肝脏时，可以通过补益心火来加强肝脏的功能；在调养脾脏时，可以通过补充肺金来提升脾脏的能力等等。这些方法都可以通过中药或饮食来进行调理。

User:  肾和胃，肾和肝是什么相生相克关系？
Qwen:  肾和胃以及肾和肝是相生相克关系。
肾是人体的内分泌器官之一，负责控制体内水分平衡、排出废物等重要功能。肾主水，如果肾虚则可能导致水肿、尿频等症状。同时，肾还与心、肝、脾、肺等多个脏腑有密切联系，其营养供应和活动状况都会影响到其他脏腑的正常运转。

胃是人体消化系统的中心部分，负责将食物分解成小分子以便吸收利用。胃主纳，胃虚则可能导致食欲不振、腹胀等症状。

肝则是人体的主要解毒器官之一，负责清除体内的有毒物质。肝主疏泄，肝虚则可能导致抑郁、焦虑等症状。

而肾和胃以及肾和肝的关系主要表现在以下几点：
1. 肾藏精，精能生气血，气血又能温煦脾胃，使脾胃的运化功能得以正常发挥；
2. 肾藏志，志又影响肝，肝气通达，情志得以舒畅，有利于改善肾功能。

因此，要维护好肾的健康，不仅要注重补充营养，还需要注意调整好饮食习惯，保证充足的休息和适当的锻炼，以及保持心情愉快等多方面的因素。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

相比较而言，两个版本的效果相差还是非常明显的，可以根据实际情况选择适合的方案。

觉得有用 收藏 收藏 收藏

点个赞 点个赞 点个赞

End

---

GPT专栏文章：

GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-探究GPT等大模型的文本生成-CSDN博客

决策引擎专栏：
Falcon构建轻量级的REST API服务

决策引擎-利用Drools实现简单防火墙策略