Qwen-WisdomVast (千问-智瀚)

作者：从前慢现在也慢 | 2024-04-25 22:02:36

踩

请添加图片描述

介绍

Qwen-WisdomVast是以Qwen1.5-7B为底座，使用 DORA + LORA+ 的训练方法，在100w高质量中文多轮SFT数据 + 20w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型，数学能力相比Qwen1.5-7B-Chat提升了5.16%，在HumanEval数据集上相比Qwen1.5-7B-Chat提升了12.8，在MBPP数据集上提升了11.6%，在BBH数据集上提升了12.44%，全部评测表现见下表。

Github: https://github.com/seanzhang-zhichen/Qwen-WisdomVast

评测表现

Model	MMLU	C-Eval	GSM8K	MATH	HumanEval	MBPP	BBH
Qwen1.5-7B-Chat	60.88	70.18	54.13	7.96	31.10	15.00	31.67
Qwen-WisdomVast	57.09	70.82	51.93	13.12	43.90	26.60	44.11

说明：

由于官方并未公布Qwen1.5-7B-Chat的评测表现，所以我们自己使用opencompass测试得到以上结果

Qwen-WisdomVast使用和Qwen1.5-7B-Chat一样的参数进行测试

模型下载

Model	Download
Qwen1.5-7B	声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/487447 推荐阅读 article 开源模型应用落地-qwen-7b-chat-LoRA微调（一）_qwen-7b 下载... 使用QWen官方方式微调qwen-7b-chat模型_qwen-7b 下载qwen-7b 下载 ... 赞踩 article RAG - QA + Qwen + dashscope... 一、关于项目二、准备1、安装依赖包2、准备数据集3、准备 API-Key三、代码实现准备数据生成 embeddings检... 赞踩 article RAG - langchain + Qwen + modelscope +文档切块_qwen-plu... 安装准备引入类、tokenizer、modeltorch garbage collection使用 langchain ... 赞踩 article Docker一键快速私有化部署(Ollama+Openwebui) +AI大模型（gemma，lla... 将${inner_ip}替换成你本机IP（用hostname -I可查看）几行命令教你私有化部署自己的AI大模型，每个人... 赞踩 article 通义千问(Qwen)AI大模型-系列_2... CodeQwen1.5是Qwen1.5的代码特定版本。它是一种基于变换器的纯解码器语言模型，在大量代码数据上进行预训练。... 赞踩相关标签深度学习语言模型自然语言处理 RAG Qwen dashscope qa 检索问答知识库 langchain rag modelscope qwen 切块 embedding docker ai 大数据容器网络 llama 人工智能 Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。闽ICP备14008679号

Model

Download

Qwen1.5-7B

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/487447