阿里 Qwen2 模型开源，教你如何将 Qwen2 扩展到百万级上下文_qianwen1.5-14b支持记忆长度多大

阿里 Qwen2 模型开源，教你如何将 Qwen2 扩展到百万级上下文

原创 是莫尔索 莫尔索随笔 2024年06月07日 22:20 四川

本次开源的 Qwen2 模型包括 5 个尺寸，分别是 0.5B、1.5B、7B、72B、57B，其中 57B 的属于 MoE 模型（激活参数 14B），其余为 Dense 模型，本篇文章会快速介绍下各个尺寸模型的情况，然后重点介绍下如何利用 Qwen-Agent 将 Qwen2 模型的 8k 上下文扩展到 1M。

Qwen2 和 Qwen1.5 的模型结构基本一致，主要是模型预训练数据有所增加（大约在 7T 以上），Qwen2-0.5B、Qwen2-1.5B 模型支持最大上下文长度为 32K；Qwen2-57B-A14B MoE 模型支持最大上下文为 64K；Qwen2-7B、Qwen