LLMs之unsloth：unsloth的简介、安装和使用方法、案例应用之详细攻略

LLMs之unsloth：unsloth的简介、安装和使用方法、案例应用之详细攻略

目录

unsloth的简介

0、特点和功能：

特点

功能

1、免费微调

2、Unsloth.ai新闻

3、链接和资源

4、主要特征

5、性能基准测试

unsloth的安装和使用方法

1、安装说明

Conda安装

Pip 安装

通过以下方式查找您的 CUDA 版本

对于 Pytorch 2.1.0：您可以通过 Pip 更新 Pytorch（互换 cu121 / cu118）。

对于 Pytorch 2.1.1：对较新的 RTX 30xx GPU 或更高版本使用“ampere”路径。

对于 Pytorch 2.2.0：对较新的 RTX 30xx GPU 或更高版本使用“ampere”路径。

如果出现错误，请先尝试以下操作，然后返回步骤 1：

对于 Pytorch 2.2.1：

要解决安装问题，请尝试以下操作（全部必须成功）。 Xformers 应该大部分都可用

2、文档

DPO 支持

3、详细的基准测试表

Llama-Factory 第三方基准测试

流行模型之间的性能比较

Mistral 7b

CodeLlama 34b

1 Tesla T4

2 Tesla T4s via DDP

Tesla T4 GPU 上的性能比较：

unsloth的案例应用

LLMs之LLaMA3：基于Colab平台(采用T4 GPU+至少37G)采用中文语料数据利用unsloth框架(速度更快/量化功能)并采用LoRA进行微调LLaMA-3-8b(合并原始模型和LoRA模型)同时进行4位量化(16位的hf格式→16位的gguf格式→4位的gguf格式)最后将模型导出到本地

---

unsloth的简介

unsloth微调Llama 3, Mistral和Gemma速度快2-5倍，内存减少80% !unsloth是一个开源项目，它可以比HuggingFace快2-5倍地微调Llama 3、Mistral和Gemma语言模型，同时内存消耗减少80%。

官网地址：GitHub - unslothai/unsloth: Finetune Llama 3, Mistral & Gemma LLMs 2-5x faster with 80% less memory

0、特点和功能：

特点

所有笔记本都是初学者友好的，可以加入自己的数据集，点击"Run All"，即可获得速度更快的微调模型。
支持Llama 3、Mistral、Gemma等几个知名LLM，可以实现更快和更节省内存的微调。
所有的核心代码都用OpenAI开发的Triton编写，确保NumPy一致性。

功能

微调预训练模型
支持HuggingFace的Trainer、SFTTrainer等训练循环
支持 continuing pretraining和文本完成功能
支持DPO直接偏好优化算法

1、免费微调

所有笔记本都是初学者友好的!添加你的数据集，点击“全部运行”，你会得到一个2倍快的微调模型，可以导出到GGUF, vLLM或上传到Hugging Face。

• 与 FA2 + Hugging Face 组合进行基准比较。
• 适用于 Llama-3 8b、Gemma 7b、Mistral 7b 的 Kaggle 笔记本
• 这款会话笔记本对于 Llama-3 非常有用。 以及 Mistral 7b 的 ChatML。
• 此文本完成笔记本用于持续预训练/原始文本。
• Benchmarking compared to FA2 + Hugging Face combined.
• Kaggle Notebooks for Llama-3 8b, Gemma 7b, Mistral 7b
• This conversational notebook is useful for Llama-3. And ChatML for Mistral 7b.
• This text completion notebook is for continued pretraining / raw text.

2、Unsloth.ai新闻

• 声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】