QLoRA增量预训练与指令微调，及汉化Llama2的实践_qwen增量预训练

作者：Cpp五条 | 2024-06-06 09:45:10

踩

qwen增量预训练

我们探索和实现了一种基于QLoRA的轻量级的增量预训练和指令微调方案，并使用该方法对Llama2-13B进行中文知识迁移，在公开榜单和人工评测中验证了该方法的有效性。该方法可推广至对Baichuan、Qwen、InternLM、Falcon等模型的垂直域增量预训练与指令微调。

在CMMLU榜单上，我们的模型优于Linly、Yayi、FlagAlpha等，与Ziya、Chinese-Alpaca-Plus及其接近。在

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/680476