开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！_llama3开源

本文原文来自DataLearnerAI官方网站：

开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！ | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051713454866102

大语言模型开源领域最重要的一个模型就是MetaAI开源的Llama系列。当前，很多著名开源模型都是基于Llama系列进行预训练得到。就在刚才，MetaAI开源了第三代Llama3系列。官方透露的信息非常多，Llama3系列是目前为止最强的开源大语言模型，未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

Llama3系列简介

Llama3系列模型是MetaAI开源的第三代大语言模型，本次发布的包含2个不同参数规模的版本，一个是80亿参数的LLama3-8B，另一个是700亿参数规模的Llama3-70B。

不过，根据官方描述，目前这两个版本是早期预览版本，未来几个月，Llama3的能力将拓展到多语言支持和更长的上下文，并且会开源更多不同参数规模版本的模型。并且，Llama3将会有多模态版本的模型！

Llama3模型是在15万亿tokens数据集上训练，是Llama2的7倍！其中的代码数据集高4倍！当前支持的上下文长度是128K！

Llama3模型具体信息可以参考DataLearnerAI模型信息卡：

需要注意的是，这里的4000亿参数版本正在训练中，还没完成。

Llama3-70B是目前最强的开源大模型

虽然目前MetaAI仅仅开源了2个不同参数规模版本的模型，其中700亿参数规模的模型评测结果极其优秀。最大的亮点是数学评测GSM8K的结果上得分93分！根据DataLearnerAI目前收集的数据，这个分数仅次于Claude3-Opus的95分，超过GPT-4，全球第二，是目前开源大模型中得分最高的一个。

数据来源：大模型综合评测对比 | 当前主流大模型在各评测数据集上的表现总榜单 | 数据学习 (DataLearner)

可以看到，按照GSM8K排序的靠前的模型中，除了Llama3-70B外，全部是闭源的私有模型。而数学能力与推理等强相关，在解决复杂任务方面有着非常好的优势。而Llama3-70B的MMLU得分82.0分，排名在Claude3-Opus、GPT-4和Gemini Ultra之后，全球第四，成绩也是非常好，也是开源模型中最强的一个。

注意，上述模型的评测的是Llama3的指令优化版本，基座预训练得分目前只公布了MMLU部分，稍低于这些分数。

Llama3最大的版本是4000亿参数规模

MetaAI官方宣布，Llama3有很多版本，其中最大的版本是4000亿参数规模！但是这个版本的模型还在训练中！官方没有明确说未来这个版本是否开源，但是也没有否认。

但是官方依然给了一个截图，展示了还在训练中的4000亿参数版本的模型的效果：

其中MMLU得分86.1分，GSM8K得分94.1分，这意味着一旦该模型训练完成，与当前市场上公开的所有模型相比，Llama3-400B模型的评测结果一定是全球第一！它现在的版本MMLU与最高分差0.7分，GSM8K差0.4分，差距非常小！代码评测结果与第一名差距也非常小！

具体数据参考DataLearnerAI大模型评测排行榜：

数据来源：大模型综合评测对比 | 当前主流大模型在各评测数据集上的表现总榜单 | 数据学习 (DataLearner)