Qwen2 技术报告：阿里巴巴开源全新一代大语言模型，性能超越 Llama-3!

快速阅读：TLDR；

• 阿里巴巴开源了全新的 Qwen2 系列大语言模型，参数量高达 72B，包含密集模型和专家混合模型 (MoE)。

• Qwen2 在语言理解、生成、多语言能力、编码、数学和推理等多个基准测试中均取得了卓越的表现，超越了 Llama-3 等现有开源模型，甚至超越了部分专有模型。

• Qwen2 支持 30 多种语言，并拥有强大的长文本处理能力，最高可支持 128K Tokens 的上下文长度。

• Qwen2 系列包含多种规模的模型，包括专为便携设备设计的轻量级模型。

引言

自 ChatGPT 问世以来，全球范围内对大语言模型（LLM）的热情持续高涨，开源社区也掀起了一股开发 GPT 级别本地 LLM 的热潮，Llama 系列的发布更是将这股热潮推向了新的高度。与此同时，Claude-3 Opus、GPT-4o 等专有模型则在 Chatbot Arena 的排行榜上你追我赶，不断刷新着 LLM 的性能上限。开源模型 Llama-3 的出现，更是将开源模型与顶级专有模型的差距缩小到了前所未有的程度，被誉为 GPT-4 级别。

面对日新月异的 LLM 发展格局，阿里巴巴在继 Qwen 和 Qwen1.5 系列模型之后，推出了Qwen2 系列大语言模型，并将其开源，旨在促进社区创新和技术的可及性。Qwen2 包含一系列基础模型和指令微调模型，参数范围从 0.5B 到 72B 不等，涵盖了密集模型和专家混合模型 (MoE)。Qwen2 不仅超越了其前辈 Qwen1.5，还在语言理解、生成、多语言能力、编码、数学和推理等多个基准测试中，展现出了超越 Llama-3 等现有开源模型，比肩甚至超越部分专有模型的强大性能。例如，Qwen2-72B 在 MMLU 上的得分高达 84.2，而 Qwen2-72B-Instruct 在 MT-Bench 上的得分也达到了 9.1，均展现了其强大的实力。

Qwen2：全面进化，比肩顶级 LLM!

模型架构：精雕细琢，性能更上一层楼

Qwen2 系列模型基于 Transformer 架构，并采用了一系列先进的技术，例如分组查询注意力（GQA）、双块注意力机制（DCA）、YARN 机制等，有效地提高了模型的性能和效率。

分组查询注意力（GQA）：优化推理效率

Qwen2 采用了 GQA 来代替传统的 multi-head attention (MHA)。GQA 优化了推理过程中的 KV 缓存使用，显著提高了吞吐量，使得模型在处理长文本时更加高效。

双块注意力机制（DCA）：提升长文本理解能力

为了提升长文本理解能力，Qwen2 采用了 DCA 机制，将长序列分割成可管理长度的块，有效捕获块内和块间标记之间的相对位置信息，提高了长上下文性能。如果输入文本可以在一个块内处理，DCA 的结果与原始注意力机制相同。而当输入文本长度超过一个块时，DCA 则能够有效地捕捉块之间的相对位置信息，从而提升长文本理解能力。

YARN 机制：更强大的长度外推能力

为了获得更好的长度外推能力，Qwen2 采用了 YARN 机制，重新缩放注意力权重，使得模型能够处理更长的上下文信息。YARN 通过对注意力权重进行重新缩放，使得模型在处理超出预训练长度的文本时，依然能够保持较高的性能，从而提升了模型的长度外推能力。

专家混合模型 (MoE)：以一当十，更高效更灵活

Qwen2 不仅包含了传统的密集模型，还包含了专家混合模型 (MoE)。MoE 模型通过将模型划分为多个专家，并根据输入文本的特性选择性地激活部分专家，从而在保证性能的同时，显著降低了计算成本。

Qwen2-57B-A14B 作为一个 MoE 模型，总参数量为 57B，但在每次前向传播过程中，只激活 14B 的参数，却能够达到与 30B 参数密集模型相当的性能，在编码和数学任务上表现尤为出色。这得益于其独特的细粒度专家机制。与传统的 MoE 模型不同，Qwen2-57B-A14B 采用了更细粒度的专家划分方式，创建了规模更小的专家，并同时激活更多专家，使得模型能够更灵活地利用专家，从而提高整体性能和适应性。此外，Qwen2-57B-A14B 还引入了共享专家机制，部分专家可以被所有任务共享，而其他专家则专门用于特定的路由场景，进一步提升了模型的效率和灵活性。

海量高质量训练数据：博览群书，学富五车

俗话说“知识就是力量”，对于 LLM 来说也是如此。Qwen2 系列模型在超过 7 万亿个标记的大规模高质量数据集上进行训练，涵盖了广泛的领域和语言，就像一个博览群书的学者，拥有丰富的知识储备。

与 Qwen1.5 相比，Qwen2 的训练数据规模更大，质量更高，多样性更丰富。Qwen2 团队开发了一个全新的多语言数据集，包含了更大规模的高质量代码、数学和多语言数据，以增强模型在各个领域的能力。为了保证训练数据的质量，Qwen2 团队采用了更加严格的数据过滤算法，并利用 Qwen 模型本身来识别和过滤低质量的数据。此外，Qwen2 团队还利用 Qwen 模型合成了部分高质量的训练数据，进一步提升了训练数据的规模和质量。

长文本处理：轻松应对 128K Tokens 的挑战

Qwen2 拥有强大的长文本处理能力，最高可支持 128K Tokens 的上下文长度，相当于可以轻松处理一整本书籍的内容！这得益于其在模型架构和训练数据上的精心设计。

在预训练的最后阶段，Qwen2 团队将上下文长度从 4,096 个标记扩展到 32,768 个标记，并引入了大量高质量的长数据，使得模型能够更好地理解和处理长文本信息。此外，Qwen2 还采用了 YARN 和 DCA 等机制，进一步提升了其长文本处理能力。如图 1 所示，在 “Needle in a Haystack” 测试中，Qwen2-72B-Instruct 在长达 128K Tokens 的文本中依然能够准确地提取信息，展现出强大的长文本理解能力。

图 1: Qwen2 指令微调模型在 “Needle in a Haystack” 测试中的表现。

多语言支持：30 多种语言，无缝切换

更令人惊喜的是，Qwen2 还支持 30 多种语言，并在多语言基准测试中取得了优异的成绩，展现出强大的跨语言理解和生成能力。这意味着 Qwen2 可以为全球用户提供更加便捷、高效的 AI 服务。

Qwen2 的多语言能力得益于其训练数据的覆盖范围和质量。Qwen2 的训练数据涵盖了 30 多种语言，并经过了严格的筛选和清洗，保证了数据的质量和一致性。此外，Qwen2 团队还采用了多语言联合训练的方式，使得模型能够更好地学习不同语言之间的共性和差异性，从而提升了模型的多语言理解和生成能力。

Qwen2 家族：总有一款适合你

为了满足不同用户的需求，Qwen2 系列提供了多种规模的模型，就像一个大家族，总有一款适合你：

• Qwen2-72B：家族中的大哥，拥有最强大的性能，适合对性能要求高的用户使用。

• Qwen2-7B：家族中的二哥，性能出色，同时对硬件要求较低，适合资源有限的用户使用。

• Qwen2-1.5B 和 Qwen2-0.5B：家族中的小弟，专为智能手机、耳机和智能眼镜等便携设备设计，让 AI 触手可及。

总结

Qwen2 系列模型的开源，标志着阿里巴巴在 LLM 领域取得了新的突破。相信 Qwen2 将会进一步推动 LLM 的发展，并为各行各业带来新的机遇。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】