当前位置:   article > 正文

Datawhale出品:《GLM-4 大模型部署微调教程》发布!

基于glm4微调大模型

 Datawhale开源 

开源贡献:Datawhale self-llm团队

前言

就在昨天,智谱 AI 发布了最新开源模型 GLM4,通过 10T 高质量多语言数据与更先进的训练技术,达到了更加出色的生成效果。

在仅有 9B 参数的前提下,在中文能力、长文本能力以及工具调用等任务中达到了更加出色的效果。

更多测评细节详见:

GLM-4最新开源版本硬核测评!Datawhale成员万字测评(一)

开发者视角看GLM-4-9B!Datawhale成员万字测评(二)

dfe62eefe49f1ed3ddc73ac3d31b492e.png

教程介绍

秉承开源贡献的宗旨,Datawhale团队成员在模型发布 12 小时 之内,为 编写了GLM-4整套教学流程,包括:

  1. 模型 api 部署;

  2. Langchain 接入;

  3. WebDemo 部署;

  4. vLLM 部署;

  5. LoRA 高效指令微调。

612a7b13ae8edf081e908843671ebec7.png

教程除提供过程代码外,还贴心为学习者提供了训练数据与 Autodl 环境镜像,方便学习者一键运行!!

d8785949ada8365e26b95420d3a8c218.png

项目地址: 

https://github.com/datawhalechina/self-llm/tree/master/GLM-4

目前项目已被智谱官方推荐学习:

a25b5e3bc00ac2acef4835090b8be42e.png

这里我们抽取一部分内容供大家了解本次教程~

LoRA 高效指令微调

首先通过分析子词嵌入模板,从而构造指令微调数据。教程通过对模板编码前后进行可视化复查,并逐一检查特殊子词编号,从而确保嵌入对应。

985440f866912de6893ee95a889bca79.png

进而通过对模型层级分析,判断高阶矩阵位置,从而使用 PEFT 工具对低秩转换层进行指定,开启 LoRA 微调。

9b962073ccbd2a6c4e6fd21763ff4c1f.png

最终查看微调效果:

  1. User: 小姐,别的秀女都在求中选,唯有咱们小姐想被撂牌子,菩萨一定记得真真儿的——
  2. Assistant: 菩萨也会看错眼的时候。

项目介绍

《开源大模型食用指南》是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程,针对各类开源大模型提供包括环境配置本地部署高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用开源大模型,帮助开源、自由的大模型更快融入到普通学习者的生活中。

除 GLM4 外,项目已支持 LLama3, InternLM, Qwen1.5 等 20 项开源模型全流程教程,并且,本项目代码全部开源!!一并配置示例训练数据,AutoDL 环境镜像等,方便学习者使用!

199ca3c56bf06af5302d09cd56a97e0d.png

目前项目已经收获 4930 star~ 屡次登上 Github Trending

fe9744683b7ec391ede8336cda635fba.jpeg

如果喜欢的话也请给我们加一颗星,为开源助力(^▽^)

84f8b5293dd20d3fb093761c16e0a7c3.png

文章最后

最后,由于贡献者团队时间仓促、精力有限,教程难免有些疏漏甚至错误,我们期望学习者在学习的同时,也能积极给我们建议,或者直接对项目进行贡献,让我们共同打磨教程,为后面的学习者提供更好的内容。

项目地址: 

https://github.com/datawhalechina/self-llm/tree/master/GLM-4

cb85f86d42e962f5f30ecf38cc7482ae.png

开源贡献,在看↓

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/711225
推荐阅读
相关标签
  

闽ICP备14008679号