qwen1.8B 通义千问大模型本地整合包 应该是全网唯一_阿里出品法律大模型本地整合包下载

阿里在12月1日进一步开源了 Qwen 的系列LMM大模型。其中体积最小的为 Qwen1.8亿 参数的模型。算是中文领域3B以下最强的大模型之一了。 关键是，之前我6G显存的电脑跑很多大模型本地都跑不起来，甚至很多6B的模型都报错显存溢出，这应该是对没有显存或者显存小于8G的用户最友好的中文本地大模型了，所以我通过 llama.cpp 量化部署然后把模型打包成了一个可以本地离线单独使用的整合包，

量化后q5_k_m.gguf 模型大小为1.31GB，加载后基础内存占用也在1.3GB，在i5-12600K CPU上4线程可以达到14-15token/s，对终端设备非常友好。 我自己测试了一下它的对话能力，基本ok, 比起以往的小参数大模型效果好蛮多。

打开软件后会自动打开一个黑色的窗口，在最下方有一个箭头的地方可以输入和大模型的对话内容，然后输入回车 确认 就可以开始对话了，玩起来吧~

链接：https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA
提取码：1111