一文看懂：如何充分高效训练多轮对话大模型原创 荷风微摆 YeungNLP_llama多轮对话 训练

01

前言

最近，在我们的大模型技术交流群里，有很多小伙伴在提问和讨论如何训练大模型的多轮对话能力。对于该问题，我们在群里给不同的小伙伴解答过很多次，并且Firefly项目里也有多轮对话的训练逻辑，但仍然会有新的小伙伴提出相同的问题。这让我们意识到，这是一个非常值得展开介绍和分享的技术点。

本文将会详细介绍Firefly项目是如何充分高效利用多轮对话数据训练大模型。注意，我们重点圈出了【充分】和【高效】两个关键词，这是Firefly项目训练多轮对话的特点，该方法可能和大部分同学理解的多轮对话训练方法存在差异。

Firefly项目链接：

https://github.com/yangjianxin1/Firefly

firefly-ziya-13b权重：

https://huggingface.co/YeungNLP/firefly-llama-13b

欢迎大家Star和关注Firefly项目，该项目已支持对LLaMA-2、Baichuan、InternLM、Bloom、Ziya、LLaMA-1等开源大模型进行多轮对话指令微调。可以在16G显存上微调130亿的大模型，并且这套训练流程在Open LLM排行榜 本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/959915