一、Llama 3.1介绍

2024年7月24日，Meta宣布推出迄今为止最强大的开源模型Llama 3.1 405B，Llama 3.1的405B支持上下文长度为128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。405B新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。好在作为新版本发布的一部分，官方也同时推出全新升级的Llama 3.1 70B和8B模型版本。接下来我们就介绍环境安装和使用方法。

二、安装

1、Llama 3.1下载官网地址:  https://ollama.com/

2、进入官网选择我们需要使用的那个环境进行安装，分别有Windows、Linux、和macOS。我们根据自己的系统选择对应的安装包进行下载安装

3、安装完成后我们通过命令下载对应的模型

Model

Parameters

Size

Download

Llama 3

8B

4.7GB

ollama run llama3

Llama 3

70B

40GB

ollama run llama3:70b

Mistral

7B

4.1GB

ollama run mistral

Dolphin Phi

2.7B

1.6GB

ollama run dolphin-phi

Phi-2

2.7B

1.7GB

ollama run phi

Neural Chat

7B

4.1GB

ollama run neural-chat

Starling

7B

4.1GB

ollama run starling-lm

Code Llama

7B

3.8GB

ollama run codellama

Llama 2 Uncensored

7B

3.8GB

ollama run llama2-uncensored

Llama 2 13B

13B

7.3GB

ollama run llama2:13b

Llama 2 70B

70B

39GB

ollama run llama2:70b

Orca Mini

3B

1.9GB

ollama run orca-mini

LLaVA

7B

4.5GB

ollama run llava

Gemma

2B

1.4GB

ollama run gemma:2b

Gemma

7B

4.8GB

ollama run gemma:7b

Solar

10.7B

6.1GB

ollama run solar

例如：我们输入 ollama run llama3.1 默认安装8B的大模型

4、安装成功之后如下

<code class="language-plain has-numbering hljs" id="code_id_0"> ollama run llama3.1
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling manifest 
pulling 87048bcd5521... 100% ▕████████████████████████████████████▏ 4.7 GB                         
pulling 8cf247399e57... 100% ▕████████████████████████████████████▏ 1.7 KB                         
pulling f1cd752815fc... 100% ▕████████████████████████████████████▏  12 KB                         
pulling 56bb8bd477a5... 100% ▕████████████████████████████████████▏   96 B                         
pulling e711233e7343... 100% ▕████████████████████████████████████▏  485 B                         
verifying sha256 digest 
writing manifest 
removing any unused layers 
success
>>> Send a message (/? for help)</code>
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.

5、在最后光标处输入我们想要提问的问题既可以得到回复，比如我们让 Llama 3.1做个自我介绍

Llama 3.1 开源AI大模型使用_bc

至此我们实现了简单的对llama3.1的安装和使用，还有70B和405B大家有兴趣可以自行安装试试！后续给大家分享llama3.1的api调用和封装，欢迎大家关注和点赞！