【类ChatGPT】本地CPU部署中文羊驼大模型LLaMA和Alpaca_chinese-llama-alpaca

昨天在github上看到一个在本地部署中文大模型的项目，和大家分享一下。先把地址po出来。

项目名称：中文LLaMA&Alpaca大语言模型+本地部署 (Chinese LLaMA & Alpaca LLMs)
项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca

以下是原github中给出的体验GIF，可以看到这个模型还是具备一定的指令理解和上下文对话能力的。

由于模型使用的是LoRA（一种高效模型训练方法），所以整个模型的参数量是比较小的（压缩包大概不到800M），但是需要和原版Facebook的权重进行结合才能使用。其实Facebook开源了，但又没完全开源，薛定谔的猫（滑稽）。所以大家自己想办法去搞到原版权重吧。

整个合并流程在原项目里写的都比较清楚，大家可以自己去看一下，需要alpaca-lora和llama.cpp两个工具。
具体步骤就不赘述了，感兴趣的看一下项目中的描述。

我使用的是苹果M1芯片，整体上没遇到什么麻烦，很顺利的就完成了模型量化过程，最终模型大概是4G。接下来就可以欢快地在本地玩耍了。解码参数就用的项目中提供的默认配置。

接下来就用量化后的模型测一下效果。需要注意的是量化后会有精度损失，效果应该是没有完整版的好，但好在速度快。

我先问一个关于温室效应的问题

整体上我觉得答得还是蛮不错的，而且也具备一些上下文的理解能力，而不是单轮能力。

再问一个数学问题

可以看到这里的回答不尽人意，也是很多开源模型的硬伤，对数值计算和推理方面不是很在行。

如何制作宫保鸡丁？

可以看到制作宫保鸡丁的一些要素是包含了，但是可以想象出这个做出来可能并不是宫保鸡丁