LLaMA2 开源大模型部署笔记一_metaai llama2 中文大模型搭建

LLaMA2 开源大模型发布

7月19日讯，据 Meta 官方消息，Meta AI 现已正式发布最新一代开源大模型Llama 2。

和此前发布的 Llama 相比，Llama 2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Llama 2也翻了一倍。Llama 2包含了70亿、130亿和700亿参数的模型。

此外 Meta 还宣布，将与微软 Azure 进行合作，向其全球开发者提供基于Llama 2模型的云服务。同时 Meta 还将联手高通，让Llama 2能够在高通芯片上运行。

中文 LLaMA&Alpaca 大模型 2 发布

此项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。

该项目的主要内容

• 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/375703