当前位置:   article > 正文

Llama 3.1:Meta的最新AI模型发布

Llama 3.1:Meta的最新AI模型发布

2024年7月23日,Meta正式发布了其开源大型语言模型Llama的最新版本——Llama 3.1。这个版本拥有4050亿参数,是迄今为止Meta发布的最大版本。Llama 3.1是对今年4月发布的Llama 3的更新,之前的版本仅有80亿和70亿参数。

性能特点

Llama 3.1被设计为性能卓越的开源模型,能够与许多行业领先的闭源模型竞争。该模型支持多语言,包括英语、葡萄牙语、西班牙语、意大利语、德语、法语、印地语和泰语。Llama 3.1的上下文窗口扩展到了128,000个令牌,这意味着用户可以输入相当于近400页小说长度的文本。

基准测试

Meta在150多个基准数据集上对Llama 3.1进行了测试,并在现实世界场景中进行了人工引导的评估。结果显示,这个拥有4050亿参数的模型在多项任务上与领先的基准模型,如GPT-4、GPT-4o和Claude 3.5 Sonnet等具有竞争力。

教学模型

Meta还更新了其所有模型的许可证,允许进行模型蒸馏和创建合成数据。这种模型蒸馏,或称为知识蒸馏,使得用户可以将大型AI模型的知识或训练转移到较小的模型上。4050亿参数的版本被称为“教学模型”,能够将其知识传递给8亿和70亿参数的模型。

模型结构

为了使更大的模型更具可扩展性,Meta研究人员决定使用标准的仅变压器模型,而不是近期流行的混合专家架构。公司还使用了一种“迭代后训练程序”来进行监督式微调,并创建了“最高质量”的合成数据来提高其性能。

开源和可用性

与之前的Llama模型一样,Llama 3.1也将开源。用户可以通过AWS、Nvidia、Groq、Dell、Databricks、Microsoft Azure、Google Cloud和其他模型库来访问它。
Llama 3.1 405B版本也将通过WhatsApp和Meta AI提供。这个强大的新模型无疑将在AI领域产生重大影响,为开发者和研究人员提供新的工具和可能性。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/873693
推荐阅读
相关标签
  

闽ICP备14008679号