5分钟实现本地安装运行史上最强开源Llama3大模型！技术方案：ollama+Chatbox+HuggingFace（shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF）_ollama运行huggingface模型

Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。8B版本最低仅需4G显存即可运行，可以说是迄今为止能在本地运行的最强LLM。
Llama 3在一众榜单中取得开源SOTA（当前最优效果）。Llama 3 8B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma 7B和Mistral 7B Instruct。

Llama 3官方相关地址

Llama 3官方地址：https://llama.meta.com/llama-downloads/
GitHub地址：https://github.com/meta-llama/
Meta AI地址：https://www.meta.ai/

一、安装ollama

打开ollama官网（https://ollama.com/blog），点击Download，选择对应安装包。

我的电脑是Windows，这里选择Windows版本安装即可。
运行命令行，检测ollama是否成功安装。

ollama -v
1

二、模型下载

Ollama可以直接从Models选择下载内置的几种模型，但选择有限。HuggingFace有更多的开源模型以供下载，以便方便地评估各种模型，所以，这里不从Ollama直接下载，而是从HuggingFace下载。
在HuggingFace搜索llama3，设置Languages为Chinese，可以看到若干基于LLaMa3的中文模型：

语言选择中文，下载筛选选择最多下载的版本，选择一个GGUF格式的模型，GGUF格式是ollama的一种模型存储格式，一个模型就是一个文件，方便下载：

点击Files and versions，选择GGUF文件，其中，q越大说明模型质量越高，同时文件也更大，直接点击下载按钮，把这个模型文件下载到本地。

三、导入模型

下载到本地的模型文件不能直接导入到Ollama，需要编写一个配置文件，如config.txt，配置文件内容如下：

FROM "/Users/liaoxuefeng/llm/llama3-8b-cn-q6/Llama3-8B-Chinese-Chat.q6_k.GGUF"

TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

第一行FROM "…"指定了模型文件路径，这里需要修改为实际路径，后面内容不需要改动。
然后，在config.txt文件所在位置，打开cmd，使用以下命令导入模型：

ollama create llama3-cn -f ./config.txt
1

llama3-cn是给模型起的名字，成功导入后可以用list命令查看：

ollama list
1

四、运行模型

1、安装Chatbox

打开Chatbox官网（https://chatboxai.app/zh），下载对应环境的安装包，下载完成后安装，安装任意位置都可以。

2、在Chatbox选择ollama本地模型运行

• 点击设置，选择本地模型
  
  
• 在聊天界面选择一个默认聊天界面，设置为本地大模型，就可以和LLaMa3聊天了。
  
• Windows电脑性能监控实时截图
  

如觉的写的不错，欢迎评论讨论，本文为原创，如需转载请标明出处；