Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B_私有大模型 llama mixtral

作者：小丑西瓜9 | 2024-04-04 05:54:47

踩

私有大模型 llama mixtral

前言

Mixtral-8x7B在各大榜单中取得了及其优异的表现，本文主要分享我们微调Mixtral-8x7B MoE模型的初步实践。我们使用Firefly项目对其进行微调，在一张V100上，仅使用4.8万条数据对Mixtral-8x7B-v0.1基座模型微调了3000步，取得了非常惊艳的效果。

我们的模型在

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/357439