6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！_英伟达官网怎么用llama

作者：Aitrainee | AI进修生

排版太难了，请点击这里查看原文：6种免费使用Llama3 70B的方法及英伟达提供的免费API接口调用！

Llama3 70B简介

Llama 3的发布引起了行业内的轩然大波。不久前，很多人还认为“闭源模型通常优于开源模型”。然而，最新的大型语言模型排行榜已经清楚地向公众展示了这一新趋势。Meta的CEO马克·扎克伯格宣布，基于Llama 3模型的AI助手已经扩展至Instagram、WhatsApp、Facebook等所有主要应用，并且还特别推出了一个独立网站。与此同时，AWS、微软Azure、谷歌云和百度智能云等主要平台也已经宣布开始支持Llama 3的训练、部署和推理操作。

Llama 3 70B的性能已经达到甚至超过了去年的Claude 3 Sonnet和Gemini 1.5 Pro，甚至比去年推出的GPT-4型号还要强。但真正引人注目的是它的价格。现在，无论是8B还是70B版本的Llama 3，都支持本地部署。虽然部署70B版本可能需要用到量化版本，且对显存有一定的要求，但这已经让很多用户感到非常幸福了，毕竟之前在本地运行一个像GPT-4那样的模型对许多人来说是难以实现的梦想。我还找到了一个大语言模型性价比排行榜，你不妨去看看。

虽然模型的性能排在第六位，但你一看价格就会知道它的优势所在：

Llama 3在常见基准测试中优于许多现有的开源聊天模型，比如Gemma 7B和Mistral 7B。

在线体验Llama 3

1. 访问英伟达的模型体验地址，可以直接选择70B（700亿参数版本）和8B（80亿参数版本）进行对话体验。
2. 使用Hugging Face的chat，选择llama3-70B。

llama2.ai

llama2.ai - Llama3官方地址入口（Facebook登录）

本地体验Llama 3

LMStudio

CodeGPT

使用CodeGPT，记得先使用Ollama拉取相应的模型。比如，拉取llama3:8b模型：ollama pull llama3:8b。如果你本地尚未安装ollama，可以阅读 “部署本地的大语言模型，只需几分钟！” 这篇文章。

Ollama

运行Llama 3 8B模型：

ollama run llama3
1

运行Llama 3 70B模型：

ollama run llama3:70b
1

Open WebUI & Ollama

具体使用可以参考这篇文章。

如何代码免费调用API

代码示例

from openai import OpenAIclient = OpenAI(  base_url = "https://integrate.api.nvidia.com/v1",  api_key = "xxxxxxxxx")completion = client.chat.completions.create(  model="meta/llama3-70b",  messages=[{"role":"user","content":"你提问的问题"}],  temperature=0.5,  top_p=1,  max_tokens=1024,  stream=True)for chunk in completion:  if chunk.choices[0].delta.content is not None:    print(chunk.choices[0].delta.content, end="")
1

如何获取API KEY

点击 Get API KEY注册英伟达账号，邮箱验证后就可以获取到，非常快，没有手机号验证，比注册ChatGPT简单多了。

付费的：

Open Router

利用Nvidia配合AI Agent使用

附：本文资源一键打开地址：点击这里。