当前位置:   article > 正文

教程:A5000 GPU 上运行阿里最新开源大模型 Qwen2_qwen2-7b gpu

qwen2-7b gpu

这是我们新一篇关于大模型的文章,我们此前还讲过如何运行 LLama3 大模型而这次,我们将使用 Ollama 运行阿里千问Qwen2:7b。要知道 Qwen2 可是目前最热门的开源大语言模型了,甚至在一些性能测试中比 LLama3 表现还突出。谁不想试试看呢?

在本文中,我们将使用目前市场上最热门的 GPU 之一,NVIDIA A5000。让 Qwen2 在这个 GPU 上运行起来!

基于Ampere架构构建的 A5000 ,是一款强大的 GPU,其性能被公认为能胜任 增强图形渲染、大模型训练和推理等工作。A5000 有 8192 个 CUDA 核心和 24GB 的 GDDR6 内存,并具备很强的计算能力和较高的内存带宽。

A5000 支持实时光线追踪、AI 增强型工作流程以及 NVIDIA 的 CUDA 和 Tensor 核心等高级功能,可提高性能。凭借其强大的功能,A5000 非常适合处理复杂的模拟、大规模数据分析和渲染高分辨率图形。

简单介绍下阿里 Qwen2-7b

Qwen2 是阿里云最新推出的大语言模型系列,提供基础模型和指令调优版本,参数范围从 5 亿到 720 亿,其中包括一个 Mixture-of-Experts 模型。该模型已经在 Hugging Face 上开源了。而且开源后 Hugging Face 的联合创始人兼首席执行官就发文宣布,Qwen2-72B 冲上HuggingFace 开源大模型榜单 Open LLM Leaderboard 第一名,全球排名最高!

与其他开源模型如 Qwen1.5 相比,Qwen2在各种基准测试中通常表现更好,包括语言理解、生成、多语言能力、编码、数学和推理。Qwen2 系列基于 Transformer 架构,并具有如 SwiGLU 激活、注意力 QKV 偏差、组查询注意力和改进的分词器等增强功能,适用于多种语言和代码。

此外,据说 Qwen2-72B 在所有测试的基准测试中都以很大的优势超过了 Meta 的 Llama3-70B

下面这张图显示了 Qwen2-72B 在各种基准测试中的性能,它在多个领域进行了 16 项基准测试的全面评估。这个模型在增强能力和与人类价值观的一致性之间取得了平衡。此外,该模型在所有基准测试中显著优于 Qwen1.5-72B-Chat,并与 Llama-3-70B-Instruct 相比甚至更胜一筹。即使是较小的 Qwen2 模型也超越了与之类似或更大的一些模型。Qwen2-7B-Instruct 在基准测试中“遥遥领先”,特别是在编码和与中文相关的指标上表现出色。

可用型号

Qwen2 的训练涵盖了包括英语和中文在内的 29 种语言。它有五种参数大小:0.5B、1.5B、7B、57B 和 72B。7B 和72B 模型的上下文长度已扩展到 128k 个 token。

图:Qwen2系列包括五个不同大小的基础和指令调整模型

另一个要用到的开源项目 Ollama

本文将向你展示使用 Ollama 运行 Qwen2 的最简单方法。所以我们有必要给还未使用过 Ollama 的朋友们介绍一下它。

Ollama 是一个开源项目,提供了一个用户友好的平台,可以在你的电脑或使用 DigitalOcean Paperspace (GPU云服务)等平台上执行大语言模型(LLMs)。

Ollama 提供对各种预训练模型库的访问,可在多种不同的操作系统上轻松安装和配置,并公开本地 API 以无缝集成到应用程序和工作流程中。用户可以自定义和微调 LLM,通过硬件加速优化性能,并提供简单的交互界面以方便用户进行直观地交互操作。

另一个要使用到的平台 Paperspace

Paperspace 是 DigitalOcean(NYSE:DOCN)旗下的 GPU 云服务,为 AI 企业提供开发、训练、部署等一系列云计算服务。DigitalOcean 的 Paperspace 是 NVIDIA 官方 CSP 合作伙伴,提供了包括 H100、A100、A5000、A6000 等多种 GPU 资源。同时,DigitalOcean 的 GPU 云服务还提供了云端环境,开发者可以在云端训练、部署 AI 应用。DigitalOcean 还在中国地区通过独家战略合作伙伴卓普云,专门为中国地区的用户提供售前咨询与技术支持服务。

在成本上,DigitalOcean 的 GPU 价格比 AWS 和 GCP 更加亲民,而且卡型更加丰富。相对于 GPU 租赁平台,DigitalOcean 不仅技术与功能更加成熟可靠,而且提供较高的数据安全性。

本文后续的开发过程,就会用到 DigitalOcean 的 A5000 GPU 云服务。

使用 Ollama 在 Paperspace 上运行 Qwen2-7b

在我们开始之前,让我们首先检查 GPU 的规格。

nvidia-smi

图:显示 NVIDIA A5000 的规格

接下来,打开一个终端,我们将开始下载 Ollama。要下载 Ollama,请将以下代码粘贴到终端中,然后按 Enter。

curl -fsSL https://ollama.com/install.sh | sh

这一行代码将开始下载 Ollama。

完成此操作后,清空屏幕,输入以下命令并按回车来运行模型。

ollama run qwen2:7b

如果遇到错误:无法连接到ollama应用程序,它是否正在运行?尝试运行以下代码,这将帮助启动ollama服务

ollama serve

并打开另一个终端并再次尝试该命令。

或者尝试通过运行以下命令手动启用 systemctl 服务

sudo systemctl enable ollama sudo systemctl start ollama

现在,我们可以运行模型了。

ollama run qwen2:7b

上图显示了在 Paperspace 中的实际运行过程。我们将下载模型的层。由于它是一个量化模型,所以下载过程不会花费太多时间。

接下来,我们将开始使用我们的模型回答一些问题,检查模型的工作方式。

  • 编写一个 Python 代码来计算斐波那契数列

图:Qwen2:7b 模型生成的斐波那契的 Python 代码

你可以尝试一下该模型的其它版本,但 7b 是最新版本,并且是与 Ollama 一起提供的。

模型在各个方面都表现出色,与早期模型版本相比,它目前与 GPT 的整体性能相近。

用于评估的测试数据来自 Jailbreak,并翻译成多种语言。值得注意的是,Llama-3 在多语言测试中表现不佳,因此被排除在此次比较之外了。研究结果表明,Qwen2-72B-Instruct 模型达到了与 GPT-4 相当的安全水平,并根据显著性检测(P值)显著优于 Mistral-8x22B 模型。


结论

总之,我们可以说 Qwen2-72B-Instruct 模型在各种基准测试中展示了其卓越的性能。特别是,Qwen2-72B-Instruct 超越了之前的版本,如 Qwen1.5-72B-Chat,并且与像 GPT-4 这样的最先进模型相比也毫不示弱,这一点通过显著性测试结果就能得到证明。此外,它在多语言环境中的安全性方面显著优于像 Mistral-8x22B 这样的模型。

大语言模型如 Qwen2 的使用的快速增长预示着一个未来,在这个未来中,人工智能驱动的应用程序和解决方案将变得越来越复杂。这些模型有潜力彻底改变包括自然语言理解、生成、多语言交流、编码、数学和推理在内的各个领域。随着这些模型的持续进步和改进,我们可以期待人工智能技术取得更大的飞跃,从而开发出更智能、更像人类的系统,更好地满足社会需求,同时遵守道德和安全标准。

希望你喜欢这篇文章!如果你希望利用 H100 或 A6000等型号的 GPU 进行推理或训练,欢迎尝试 DigitalOcean 的 GPU 云服务,如果希望咨询更详细的产品方案,可联系 DigitalOcean 中国区独家战略合作伙伴卓普云

参考链接

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/740652
推荐阅读
相关标签
  

闽ICP备14008679号