笔记本上打造专属的LLama3聊天机器人_llama3大模型在笔记本上使用

1. 引言

万众期待的 Meta 第三代 Llama 发布了，我想确保你知道如何以最佳方式部署这个最先进的LLM。在本教程中，我们将在笔记本上部署该模型，并指导大家一步步具体操作步骤。

闲话少说，我们直接开始吧！

2. LLama3

迄今为止，Llama 3 系列包括从 8B 到 70B 参数量的各种型号，未来还将推出更多版本。这些模型附带有许可的 Meta Llama 3 许可协议，建议大家在接受使用这些模型所需的条款之前仔细阅读。这标志着Llama 模型系列和开源人工智能进入了激动人心的新篇章。

观察上图模型的性能，最引人注目的是Llama3-8B 模型在所报告的基准测试中的性能比 Llama2-70B高出 62% 到143%，而模型体积却小了 88%！关于该模型更多的细节，本文不过多阐述，接下来我们重点放在笔记本上部署该模型。

3. 准备工作

我们将使用 llama-cpp 库和openai库在个人笔记本上快速运行llama3模型。这将是一个初始测试，虽然只有文本界面…但可以 100% 运行。

首先我们来创建我们的虚拟环境，如下：

cd ~/
python -m venv venv
source ./venv/bin/activate  #activate the virtual environment

1
2
3
4

现在您已经有了一个干净的 Python虚拟环境，接着我们将安装 llama-cpp-python 和 OpenAI 库，如下：

pip install llama-cpp-python
pip install openai
1
2

可以参考我在MacBOOK上跑通的环境中的其他依赖：

4. 下载量化模型

接着我们需要从Hugging Face网站上下载 Llama-3-8B GGUF模型权重，注意这里下载的是模型的量化压缩后的权重，格式为GGUF，如下：

官网链接

点击文件和版本，选择 Q2_K（只有3Gb）或Q4_K_M（4.9Gb）。第一个版本推理精度较低，但推理速度较快，第二个版本在速度和精度之间取得了很好的平衡。

如果你在国内下载这些模型参数文件速度较慢，可以通过中文镜像网站下载，链接如下：国内镜像站

下载完成后，将模型文件放到自己工程目录下model文件夹内即可。

5. 编写client程序

在上面我们安装了OpenAI库，是因为我们将使用llama-cpp 内置兼容的 OpenAPI服务器。接着我们需要编写我们的client.py程序，该client.py接收我们的文本提示输入，并通过API向服务器发送/接收指令，然后得到响应。

该客户端client.py很方便，因为它与我们所使用的模型完全无关。让我们先导入我们需要的库：

# Chat with an intelligent assistant in your terminal
from openai import OpenAI

# Point to the local server
client = OpenAI(base_url="http://localhost:8000/v1", 
         api_key="not-needed")
1
2
3
4
5
6

在这里，我们调用 OpenAI 库中的构造函数将客户端实例化。接着我们使用第一条信息对历史记录进行格式化：Python dict 的第一个条目是系统信息，第二个条目是要求模型自我介绍的用户提示，如下：

history = [
    {"role": "system", "content": "You are an intelligent assistant. You always provide well-reasoned answers that are both correct and helpful."},
    {"role": "user", "content": "Hello, introduce yourself to someone opening this program for the first time. Be concise."},
]
print("\033[92;1m")
1
2
3
4
5

接着，我们开始一个 while 循环：基本上，我们会一直询问用户提示，并从 Meta-Llama-3-7B-instruct 模型中生成回复，直到我们说quit或者exit。代码实现如下：

while True:
    completion = client.chat.completions.create(
        model="local-model", 
        messages=history,
        temperature=0.7,
        stream=True,
    )

    new_message = {"role": "assistant", "content": ""}
    
    for chunk in completion:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="", flush=True)
            new_message["content"] += chunk.choices[0].delta.content

    history.append(new_message)
    print("\033[91;1m")
    userinput = input("> ")
    if userinput.lower() in ["quit", "exit"]:
        print("\033[0mBYE BYE!")
        break
    history.append({"role": "user", "content": userinput})
    print("\033[92;1m")

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

6. 服务器端运行

万事具备！接下来，我们就来运行下我们基于LLama3的聊天机器人吧！首先，我们打开一个新的终端窗口中，激活venv后运行以下命令：

#with CPU only
python -m llama_cpp.server --host 0.0.0.0 --model \
   ./model/Meta-Llama-3-8B-Instruct.Q2_K.gguf  \
   --n_ctx 2048
1
2
3
4

运行后，我们将启动与OpenAI 标准兼容的FastAPI 服务器。我们应该得到类似下面的信息：

初次启动，需要一些时间。当服务器准备就绪后，Uvicorn 会以漂亮的绿色信息INFO通知显示在终端，如下：

当看到上述绿色的INFO信息后，就说明我们的服务器端已成功初始化完成，完成了相应的准备工作。

7. 客户端运行

接着，我们同样需要新开一个终端，激活我们的虚拟环境venv, 接着运行以下代码：

python ./client.py
1

以下是我的运行界面：

现在我们的聊天机器人已准备就绪。想问什么就问什么，尽情享受吧。

比如我问他如何减肥，他就会给我一些建议，如下：

上图中，红色为我的输入，绿色为模型的答复！Awesome！！！

8. 总结

总之，Meta 的Llama3 LLM 系列在前几代产品的基础上进行了显著改进，并提供了多种配置。本文重点介绍了如何在自己的笔记本上运行CPU版本的LLama3模型，并给出了具体的示例！

您学废了嘛？

注：关注公众号《AI算法之道》，后台回复 llama3，即可获取源码。