赞
踩
原创 阿瞳 原子社 2024年06月07日 13:13 上海
经过数月的等待和阿里团队不懈的努力,Qwen系列开源模型迎来了从Qwen1.5到Qwen2的飞跃式升级。本次升级亮点包括:
5种不同尺寸的预训练及指令微调模型,包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B;
在中文和英语的基础上,新增27种语言的高质量训练数据;
在多个评测基准上取得领先表现;
显著提升代码和数学能力;
支持更长的上下文长度,最高可达128K tokens(Qwen2-72B-Instruct)。
已经在Hugging Face和ModelScope上同步开源,并在Ollama可以下载使用。
Qwen2系列包含5种尺寸的模型,具体如下表所示:
模型 | 参数量 (B) | 非Embedding参数量 (B) | GQA | Tie Embedding | 上 |
---|
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。