书生·浦语大模型实战营：XTuner 微调 LLM：1.8B、多模态、Agent

视频：XTuner 微调 LLM：1.8B、多模态、Agent_哔哩哔哩_bilibili

文档：Tutorial/xtuner/readme.md at camp2 · InternLM/Tutorial · GitHub

笔记

两种Finetune范式
LLM 的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式

增量预训练微调
使用场景：让基座模型学习到一些新知识，如某个垂类领域的常识训练数据：文章、书籍、代码等
指令跟随微调
使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话、问答数据

XTurn

LoRA & QLoRA

LoRA: Low-Rank Adaptation of Large Language Models

• LLM 的参数量主要集中在模型中的 Linear, 训练这些参数会耗费大量的显存
• LoRA 通过在原本的 Linear 旁，新增一个支路，包含两个连续的小 linear，新增的这个支路通常叫做 Adapter
• Adapter 参数量远小于原本的 Linear，能大幅降低训练的显存消耗

QLoRA: Quantized LLMs with Low-Rank Adapters

• 4位NormalFloat量化：这是一种改进量化的方法，确保每个量化仓中有相同数量的值，这避免了计算问题和异常值的错误。
• 双量化：对量化常量再次量化以节省额外内存的过程。
• 统一内存分页：它依赖于NVIDIA统一内存管理，自动处理CPU和GPU之间的页到页传输，它可以保证GPU处理无错，特别是在GPU可能耗尽内存的情况下。

XTuner 一个大语言模型&多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。

• 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/523088