- 1docker容器管理平台—portainer_portainer终端控制台
- 2K8S网络总结_k8s 169.254.1.1
- 3未能加载文件或程序集“SrvCommon, Version=1.0.0.0, Culture=neutral, PublicKeyToken=null”
- 4【Unity】解决aseprite像素画导入到Unity中显示模糊问题_导入unity的像素模糊
- 5什么是机器学习
- 6pytorch部署到jupyter中_如何把pytorch导入jupyter
- 7Linux- struct list_head简介
- 8Python绘图模块 -- turtle_python turtle
- 9MQTT协议，终于有人讲清楚了_有人4gmqtt模式需要服务器定时轮询?
- 10史上最全的2023年最新版Android面试题集锦（含答案解析）_android面试题2023
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
赞
踩
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
导读：2023年07月31日，哈工大讯飞联合实验室，发布Chinese-LLaMA-Alpaca-2，本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。
本项目主要内容
>> 针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型；
>>开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型；
>>使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验；
>>支持transformers, llama.cpp, text-generation-webui, LangChain, privateGPT, vLLM等LLaMA生态；
目录
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
LLMs：在单机CPU+Windows系统上实现中文LLaMA算法(基于Chinese-LLaMA-Alpaca)进行模型部署(llama.cpp)且实现模型推理全流程步骤的图文教程(非常详细)
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs之LLaMA2：基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略
(1)、LoRA模型无法单独使用，必须与原版Llama-2进行合并才能转为完整模型
2.1、预训练：基于deepspeed框架+Llama-2增量训练+采用120G纯文本+ 启用FlashAttention-2，默认fp16训练
(2)、支持的训练模式：基于原版LLaMA-2训练中文LLaMA-2 LoRA、基于中文LLaMA-2/Alpaca-2继续预训练(在新的LoRA上)
(3)、关于显存占用：只训练LoRA参数、减小block_size、开启gradient_checkpointing(但会降速)
2.2、指令精调：基于deepspeed框架+Chinese-LLaMA-2进行指令精调+500万条(Alpaca格式的json文件)+ 启用FlashAttention-2，默认fp16训练
(2)、支持的训练模模式：基于Chinese-LLaMA-2 LoRA进行指令精调、基于Chinese-LLaMA-2训练全新的指令精调LoRA权重
(3)、关于显存占用：只训练LoRA参数(单卡21G)、减小max_seq_length
T2、Transformers：原生transformers推理接口
T4、仿OpenAI API调用：仿OpenAI API接口的服务器Demo
T5、text-generation-webui：前端Web UI界面的部署方式
T7、privateGPT：基于LangChain的多文档本地问答框架
相关文章
论文相关
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
https://yunyaniu.blog.csdn.net/article/details/131318974
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_一个处女座的程序猿的博客-CSDN博客
实战应用相关
LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略
https://yunyaniu.blog.csdn.net/article/details/130397623
LLMs之Chinese-LLaMA-Alpaca：LLaMA汉化版项目详细源码解读多个py文件-基于Ng单机单卡实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→增量预训练(本质是高效参数微调，LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继续训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)
https://yunyaniu.blog.csdn.net/article/details/131319010
LLMs：在单机CPU+Windows系统上实现中文LLaMA算法(基于Chinese-LLaMA-Alpaca)进行模型部署(llama.cpp)且实现模型推理全流程步骤的图文教程(非常详细)
LLMs之LLaMA-7B-QLoRA：基于Alpaca-Lora代码在CentOS和多卡(A800+并行技术)实现全流程完整复现LLaMA-7B—安装依赖、转换为HF模型文件、模型微调(QLoRA+单卡/多卡)、模型推理(对比终端命令/llama.cpp/Docker封装)图文教程之详细攻略
https://yunyaniu.blog.csdn.net/article/details/131526139
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2(基于deepspeed框架)的简介、安装、案例实战应用之详细攻略_一个处女座的程序猿的博客-CSDN博客
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_sft_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(监督式任务的数据收集器+指令数据集【json格式】)→优化模型配置(量化模块+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+梯度累积checkpointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评估(+PPL指标)
LLMs之LLaMA2：基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略
LLMs之LLaMA2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略
LLMs之LLaMA2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同时微调LLaMA2模型(采用Conda环境安装tg webui+PyTorch→CLI/GUI下载模型→启动WebUI服务→GUI式+LoRA微调→加载推理)之图文教程详细攻略
Chinese-LLaMA-Alpaca-2的简介
本项目推出了基于Llama-2的中文LLaMA-2以及Alpaca-2系列模型，相比一期项目其主要特点如下：
| 经过优化的中文词表 | 在一期项目中，我们针对一代LLaMA模型的32K词表扩展了中文字词（LLaMA：49953，Alpaca：49954） 在本项目中，我们重新设计了新词表（大小：55296），进一步提升了中文字词的覆盖程度，同时统一了LLaMA/Alpaca的词表，避免了因混用词表带来的问题，以期进一步提升模型对中文文本的编解码效率 |
| 基于FlashAttention-2的高效注意力 | FlashAttention-2是高效注意力机制的一种实现，相比其一代技术具有更快的速度和更优化的显存占用； 当上下文长度更长时，为了避免显存爆炸式的增长，使用此类高效注意力技术尤为重要； 本项目的所有模型均使用了FlashAttention-2技术进行训练； |
| 基于PI和NTK的超长上下文扩展技术 | 在一期项目中，我们实现了基于NTK的上下文扩展技术，可在不继续训练模型的情况下支持更长的上下文； 基于位置插值PI和NTK等方法推出了长上下文版模型，支持16K上下文，并可通过NTK方法最高扩展至24K-32K； 进一步设计了方便的自适应经验公式，无需针对不同的上下文长度设置NTK超参，降低了使用难度； |
| 简化的中英双语系统提示语 | 在一期项目中，中文Alpaca系列模型使用了Stanford Alpaca的指令模板和系统提示语； 初步实验发现，Llama-2-Chat系列模型的默认系统提示语未能带来统计显著的性能提升，且其内容过于冗长； 本项目中的Alpaca-2系列模型简化了系统提示语，同时遵循Llama-2-Chat指令模板，以便更好地适配相关生态； |
| 地址 | |
| 时间 | 2023年07月31日 |
| 作者 | 哈工大讯飞联合实验室 |
1、已开源的模型
基座模型：Chinese-LLaMA-2-7B, Chinese-LLaMA-2-13B
聊天模型：Chinese-Alpaca-2-7B, Chinese-Alpaca-2-13B
长上下文模型：Chinese-LLaMA-2-7B-16K, Chinese-LLaMA-2-13B-16K, Chinese-Alpaca-2-7B-16K, Chinese-Alpaca-2-13B-16K
2、可视化本项目以及一期项目推出的所有大模型之间的关系
3、效果评估
为了评测相关模型的效果，本项目分别进行了生成效果评测和客观效果评测（NLU类），从不同角度对大模型进行评估。需要注意的是，综合评估大模型能力仍然是亟待解决的重要课题，单个数据集的结果并不能综合评估模型性能。推荐用户在自己关注的任务上进行测试，选择适配相关任务的模型。
(1)、生成效果评测
为了更加直观地了解模型的生成效果，本项目仿照Fastchat Chatbot Arena推出了模型在线对战平台，可浏览和评测模型回复质量。对战平台提供了胜率、Elo评分等评测指标，并且可以查看两两模型的对战胜率等结果。题库来自于一期项目人工制作的200题，以及在此基础上额外增加的题目。生成回复具有随机性，受解码超参、随机种子等因素影响，因此相关评测并非绝对严谨，结果仅供晾晒参考，欢迎自行体验。部分生成样例请查看examples目录。
⚔️ 模型竞技场：http://llm-arena.ymcui.com
| 系统 | 对战胜率（无平局） ↓ | Elo评分 |
|---|---|---|
| Chinese-Alpaca-2-13B-16K | 86.84% | 1580 |
| Chinese-Alpaca-2-13B | 72.01% | 1579 |
| Chinese-Alpaca-Pro-33B | 64.87% | 1548 |
| Chinese-Alpaca-2-7B | 64.11% | 1572 |
| Chinese-Alpaca-Pro-7B | 62.05% | 1500 |
| Chinese-Alpaca-2-7B-16K | 61.67% | 1540 |
| Chinese-Alpaca-Pro-13B | 61.26% | 1567 |
| Chinese-Alpaca-Plus-33B | 31.29% | 1401 |
| Chinese-Alpaca-Plus-13B | 23.43% | 1329 |
| Chinese-Alpaca-Plus-7B | 20.92% | 1379 |
Note
以上结果截至2023年9月1日。最新结果请进入⚔️竞技场进行查看。
(2)、客观效果评测：C-Eval
C-Eval是一个全面的中文基础模型评估套件，其中验证集和测试集分别包含1.3K和12.3K个选择题，涵盖52个学科。实验结果以“zero-shot / 5-shot”进行呈现。C-Eval推理代码请参考本项目：https://www.wpsshop.cn/w/盐析白兔/article/detail/131323
