热门标签
热门文章
- 1回归模型使用实战xgb.XGBRegressor
- 2大模型接触（一）——模型蒸馏
- 3union查询 如何合成一个新表
- 4DPDK的PMD(uio/igb_uio/vfio-pci/uio_pci_generic)_dpdk pmd
- 5【转】微软研发职位介绍_微软首席研究员什么级别
- 6论文辅助笔记：TEMPO 之 utils.py
- 7人工电销机器人在销售行业中的重要性和作用，以及未来市场的发展前景
- 8【NLP】特征提取: 广泛指南和 3 个操作教程 [Python、CNN、BERT]
- 9vscode获取远程别人的分支_vscode上获取所有分支
- 10RabbitMQ部署指南_linux在线安装rabbitmq3.8
当前位置: article > 正文
XTuner 微调 LLM笔记
作者：菜鸟追梦旅行 | 2024-05-16 05:15:05
赞
踩
XTuner 微调 LLM笔记
Finetune介绍
主要有两种微调范式，目的是使基座大模型成为垂直模型
什么是指令微调————就是有对话
数据要可以被系统利用
不同模型有不同的输入/输出模板
喂给模型的是拼装好的
基座不变，在基座上微调lora，新建小linear，也就是adapter。主要目的是减少开销。
XTuner介绍
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/577087
推荐阅读
相关标签
