LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略

LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略

导读：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。Chinese-LLaMA在原版LLaMA的基础上进行了三步走=扩充中文词表+增量预训练+指令精调：扩充中文词表并使用了大规模中文语料数据进行增量预训练(因为采用了LoRA技巧，其本质还是高效参数微调)，更好地理解新的语义和语境，进一步提升了中文基础语义理解能力。然后，Chinese-Alpaca模型进一步使用了中文指令数据进行指令精调(依旧采用了LoRA技巧)，显著提升了模型对指令的理解和执行能力。
>>LoRA权重无法单独使用：理解为原LLaMA模型上的一个补丁，即需要合并原版LLaMA模型才能使用；
>>针对原版LLaMA模型扩充了中文词表，提升了中文编解码效率；
>>开源了使用中文文本数据预训练的Chinese-LLaMA以及经过指令精调的Chinese-Alpaca；
>>开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型；
>>快速使用笔记本电脑（个人PC）的CPU/GPU本地量化和部署体验大模型；

排疑：可以不进行增量预训练而直接采用指令微调吗？
如果没有进行增量预训练，模型可能无法充分利用新的中文词表，并可能在生成和理解中遇到困难。不进行增量预训练而直接使用指令微调，可能会限制模型在新的中文词表上的性能和适应性。因此，建议在进行指令微调之前，先进行适当的增量预训练，以提高模型的性能和适应性。

目录

相关文章

论文相关

LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读

LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读

LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略

实战应用相关

LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略

LLMs之Chinese-LLaMA-Alpaca：LLaMA汉化版项目详细源码解读多个py文件-基于Ng单机单卡实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→增量预训练(本质是高效参数微调，LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继续训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)

LLMs之Chinese-LLaMA-Alpaca：基于单机CPU+Windows系统实现中文LLaMA算法进行模型部署(llama.cpp)+模型推理全流程步骤【安装环境+创建环境并安装依赖+原版LLaMA转HF格式+合并llama_hf和chinese-alpaca-lora-7b→下载llama.cpp进行模型的量化(CMake编译+生成量化版本模型)→部署f16/q4_0+测试效果】的图文教程(非常详细)

LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略

LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)

LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(监督式任务的数据收集器+指令数据集【json格式】)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)

Chinese-LLaMA-Alpaca的简介

1、主要内容

2、版本更新内容公告

3、系统效果：介绍了部分场景和任务下的使用体验效果

生成效果评测

客观效果评测

4、下图展示了本项目以及二期项目推出的所有大模型之间的关系

5、下面是中文LLaMA和Alpaca模型的基本对比以及建议使用场景（包括但不限于），更多内容见训练细节。

Chinese-LLaMA-Alpaca的的安装

1、模型下载：中文LLaMA、Alpaca大模型下载地址：LoRA权重无法单独使用(理解为原LLaMA模型上的一个补丁)+需要合并原版LLaMA模型才能使用

T1、直接从网盘下载

推荐模型下载

其他模型下载

T2、在transformers平台下载，