llama3简介与国内最快体验方式_llama3的硬件配置

Meta公司研发并推出了Meta Llama 3系列大型语言模型（LLMs），该系列包括8B和70B参数量的预训练及指令调优生成文本模型。Llama 3的指令调优模型专为对话场景优化设计，在行业通用基准测试中表现优于众多开源聊天模型，并且我们在开发过程中特别注重提高其有用性和安全性。

模型规格：

• 开发者：Meta
• 变体：Llama 3提供两种尺寸选择，分别是8B参数量和70B参数量的预训练版和指令调优版。
• 输入：仅接受文本输入。
• 输出：仅生成文本和代码输出。
• 模型架构：Llama 3是一个基于自动回归的语言模型，采用优化过的Transformer架构。调优版本运用监督微调（SFT）和结合人类反馈的强化学习（RLHF），以更好地符合人类对帮助性和安全性的偏好要求。
• 训练数据：基于公开在线数据混合而成的新数据集，截止日期分别为2023年3月（8B版本）和2023年12月（70B版本）。
• 参数量：8B和70B版本均采用分组查询注意力（GQA）以提高推理时的可扩展性。
• 上线日期：2024年4月18日。
• 状态：这是一个静态模型，基于离线数据集训练。随着社区反馈的收集和模型安全性的提升，未来会发布调优模型的新版本。
• 许可证：Llama 3提供定制商业许可，详情请访问 https://llama.meta.com/llama3/license。

用途说明：

• 使用场景：Llama 3旨在用于英语环境下的商业和研究应用。指令调优模型适用于助手类聊天应用，而预训练模型可以适应多种自然语言生成任务。
• 不适用范围：禁止违反适用法律法规或贸易合规规定的方式使用；禁止按照《可接受使用政策》和《Llama 3社区许可协议》禁止的任何其他方式使用；未经适当地微调处理，不应用于除英语以外的语言环境。

使用方法：

• 提供了两种版本的Meta-Llama-3-8B-Instruct，分别可用于transformers库和原始的llama3代码库。
  • 使用transformers库时，请参照以下代码片段；
  • 要使用llama3代码库，请遵循仓库内的相关指南；
  • 下载原始模型权重可通过huggingface-cli命令行工具。

软硬件配置：

• 训练因素：利用自定义训练库、Meta研究超级集群和生产集群完成预训练，微调、标注和评估则在第三方云平台上执行。
• 碳足迹：累计消耗7.7M GPU小时，其中8B模型耗时1.3M GPU小时，70B模型耗时6.4M GPU小时，总排放量约为2290吨二氧化碳当量，所有排放已通过Meta可持续发展项目全额抵消。

训练数据概述：

• Llama 3基于超过15万亿个来自公开来源的令牌进行预训练，微调数据包括公开可用的指令数据集以及超过1000万个经过人工标注的例子，且不包含Meta用户的个人数据。

基准测试表现：

• Llama 3在多个自动评估基准测试中取得优异成绩，无论是基础预训练模型还是指令调优模型，在诸如MMLU、AGIEval English、CommonSenseQA等多类别任务上都展现出超越前代和其他对比模型的能力。

责任与安全：

• Meta坚持开放AI理念，致力于负责任的AI开发，采取一系列措施限制滥用和潜在危害，并支持开源社区。
• 对于Llama 3的发布，Meta更新了《负责任使用指南》，指导开发者实施模型级和系统级的安全最佳实践，同时提供了Meta Llama Guard 2和Code Shield等安全工具来降低风险。
• 指令调优模型经历了深入的红队对抗演练、敌对评估，并实施了安全缓解技术以降低残留风险。开发者应根据自身应用场景评估并采取额外的安全措施以达到合适的安全标准。

发布原则：

• 在决定发布Llama 3之前，Meta严格遵守了一套流程，特别针对误用和关键风险采取额外防范措施。
• 使用Llama 3需同意《可接受使用政策》，访问政策详情请至 https://llama.meta.com/llama3/use-policy/。

openbayes更新了：
1️⃣ 公共模型：上线 Llama-3-8B 开源大模型，Llama-3-70B 将在稍晚上线
https://go.openbayes.com/a9Zgf
2️⃣ 公共教程：更新上线了「用 Ollama 和 Open WebUI 部署 Llama-3-8B」教程
https://go.openbayes.com/VsVh3
这个教程介绍了如何使用 Ollama 和 Open WebUI 部署 Llama3 8B。Llama3 8B 是 Llama 系列最新的大型开放式生成 AI 模型，它在数据集、文本长度和词汇量等方面都有显著的改进。
首先，你需要启动 Ollama 和 Open Webui。在第一个终端中，你需要输入命令来启动 Ollama：

OLLAMA_MODELS=/openbayes/home/ollama-models ./ollama serve
1

在第二个终端中，你需要输入命令来启动 Open Webui：

bash /openbayes/input/input1/open-webui/backend/start.sh
1

启动后，你可以复制 API 地址并将其粘贴到浏览器中打开 Open Webui 页面。通过 admin@example.com 和 adminadmin 登录。
这个教程非常简单明了，适合初学者快速上手使用 Llama3 8B。如果你有任何疑问或需要进一步的帮助，请随时提问。