一文看懂：如何充分高效训练多轮对话大模型_大模型多轮对话 知乎

一文看懂：如何充分高效训练多轮对话大模型

收录于合集

#Firefly6个

#指令微调10个

#大语言模型12个

YeungNLP

Firefly开源中文大语言模型官方公众号。

23篇原创内容

公众号

01

前言

最近，在我们的大模型技术交流群里，有很多小伙伴在提问和讨论如何训练大模型的多轮对话能力。对于该问题，我们在群里给不同的小伙伴解答过很多次，并且Firefly项目里也有多轮对话的训练逻辑，但仍然会有新的小伙伴提出相同的问题。这让我们意识到，这是一个非常值得展开介绍和分享的技术点。

本文将会详细介绍Firefly项目是如何充分高效利用多轮对话数据训练大模型。注意，我们重点圈出了【充分】和【高效】两个关键词，这是Firefly项目训练多轮对话的特点，该方法可能和大部分同学理解的多轮对话训练方法存在差异。

Firefly项目链接：

https://github.com/yangjianxin1/Firefly

firefly-ziya-13b权重：

https://huggingface.co/YeungNLP/firefly-llama-13b

欢迎大家Star和关注Firefly项目，该项目已支持对LLaMA-2、Baichuan、InternLM、Bloom、Ziya、LLaMA-1等开源大模型进行多轮对话指令微调。可以在16G显存上微调130亿的大模型，并且这套训练流程在Open LLM排行榜声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/747215