当前位置:   article > 正文

你知道如何在本地运行 Llama 3 吗?这里有一份教程等你来学!

你知道如何在本地运行 Llama 3 吗?这里有一份教程等你来学!

引言

使用 Meta 的 Llama 3 系列探索 AI 语言模型的最新里程碑。从增加词汇量等进步到使用开源工具的实际实现,本文深入探讨了 Llama 3 的技术细节和基准测试。了解如何在本地部署和运行这些模型,释放它们在消费类硬件中的潜力。

学习目标

  • 了解 Llama 3 系列模型的主要进步和基准,包括它们与以前的迭代和该领域其他模型相比的性能。
  • 了解如何使用 HuggingFace Transformers 和 Ollama 等开源工具在本地部署和运行 Llama 3 模型,从而实现大型语言模型的实践体验。
  • 探索 Llama 3 中的技术增强功能,例如增加的词汇量和分组查询注意力的实现,并了解它们对文本生成任务的影响。
  • 深入了解 Llama 3 模型的潜在应用和未来发展,包括它们的开源性质、多模式功能以及微调和性能方面的持续进步。

Llama3 介绍

Llama 3 系列简介:语言模型的新时代。凭借 8B 和 70B 大小的预训练基础和聊天模型,它带来了重大进步。其中包括扩展的词汇量,现在为 128k 令牌,提高令牌编码效率并实现更好的多语言文本生成。此外,它还在所有模型中实施了分组查询注意力 (GQA),确保与其前身相比,响应更加连贯和扩展。
此外,Meta 严格的训练方案,仅为 8B 模型就使用了 15 万亿个代币,这表明它致力于突破自然语言处理的界限。随着多模态模型和更大的 400B+ 模型的计划即将到来,Llama 3 系列预示着 AI 语言建模的新时代,有望彻底改变各行各业的各种应用。
您可以点击这里访问模型:https://llama.meta.com/llama3/

性能亮点

  • Llama 3 模型在创意写作、编码和头脑风暴等各种任务中表现出色,设定了新的性能基准。
  • 8B Llama 3 型号的性能明显优于以前的型号,接近 Llama 2 70B 型号的性能。
  • 值得注意的是,Llama 3 70B 型号在基准测试中超过了 Gemini Pro 1.5 和 Claude Sonnet 等封闭型号。
  • 开源性质允许轻松访问、微调和商业用途,模型提供自由许可。

    在本地运行 Llama 3
    具有所有这些性能指标的 Llama 3 是最适合在本地运行的模型。由于模型量化方法的进步,我们可以在消费类硬件内部运行 LLM。根据硬件规格,有不同的方法可以在本地运行这些模型。如果您的系统有足够的 GPU 内存 (~48GB),您可以舒适地运行全精度的 8B 模型和 4 位量化的 70B 模型。输出可能偏慢。您也可以使用云实例进行推理。在这里,我们将使用带有 16GB T4 GPU 的免费层 Colab 来运行量化的 8B 模型。4 位量化模型需要 ~5.7 GB 的 GPU 内存,这对于在 T4 GPU 上运行来说很好。
    为了运行这些模型,我们可以使用不同的开源工具。下面是一些用于在本地运行模型的工具。

使用 HuggingFace

HuggingFace 已经推出了对 Llama 3 模型的支持。我们可以使用变形金刚库轻松地从 HuggingFace Hub 中提取模型。您可以安装全精度模型或 4 位量化模型。这是在 Colab 免费层上运行它的示例。

Step1:安装库

安装 accelerate 和 bitsandbytes 库并升级 transformers 库。

!pip install -U "transformers==4.40.0" --upgrade
!pip install accelerate bitsandbytes
  • 1
  • 2

Step2:安装模型

现在我们将安装模型并开始查询。

import transformers
import torch

model_id = "unsloth/llama-3-8b-Instruct-bnb-4bit"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={
        "torch_dtype": torch.float16,
        "quantization_config": {"load_in_4bit": True},
        "low_cpu_mem_usage": True,
    },
)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

Step3:发送查询

现在向模型发送查询以进行推理。

messages = [
    {"role": "system", "content": "You are a helpful assistant!"},
    {"role": "user", "content": """Generate an approximately fifteen-word sentence 
                                   that describes all this data:
                                   Midsummer House eatType restaurant; 
                                   Midsummer House food Chinese; 
                                   Midsummer House priceRange moderate; 
                                   Midsummer House customer rating 3 out of 5; 
                                   Midsummer House near All Bar One"""},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

查询的输出:“下面是一个 15 字的句子,总结了数据:
Midsummer House是一家价格适中的中餐馆,在All Bar One附近拥有三星级评级。

Step4:安装 Gradio 并运行代码

您可以将其包装在 Gradio 中以具有交互式聊天界面。安装 Gradio 并运行以下代码。

import gradio as gr

messages = []

def add_text(history, text):
    global messages  #message[list] is defined globally
    history = history + [(text,'')]
    messages = messages + [{"role":'user', 'content': text}]
    return history

def generate(history):
  global messages
  prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

  terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

  outputs = pipeline(
    prompt,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
  response_msg = outputs[0]["generated_text"][len(prompt):]
  for char in response_msg:
      history[-1][1] += char
      yield history
  pass

with gr.Blocks() as demo:
    
    chatbot = gr.Chatbot(value=[], elem_id="chatbot")
    with gr.Row():
            txt = gr.Textbox(
                show_label=False,
                placeholder="Enter text and press enter",
            )

    txt.submit(add_text, [chatbot, txt], [chatbot, txt], queue=False).then(
            generate, inputs =[chatbot,],outputs = chatbot,)
            
demo.queue()
demo.launch(debug=True)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51

这是 Gradio 应用程序和 Llama 3 的演示。

使用 Ollama

Ollama 是另一个用于在本地运行 LLM 的开源软件。要使用 Ollama,您必须下载该软件。

Step1:启动本地服务器

下载后,使用此命令启动本地服务器。

ollama run llama3:instruct  #for 8B instruct model

ollama run llama3:70b-instruct #for 70B instruct model

ollama run llama3  #for 8B pre-trained model

ollama run llama3:70b #for 70B pre-trained
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

Step2:通过API查询

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?",
  "stream": false
}'
  • 1
  • 2
  • 3
  • 4
  • 5

Step3:JSON响应

您将收到 JSON 响应。

{
  "model": "llama3",
  "created_at": "2024-04-19T19:22:45.499127Z",
  "response": "The sky is blue because it is the color of the sky.",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 5043500667,
  "load_duration": 5025959,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 325953000,
  "eval_count": 290,
  "eval_duration": 4709213000
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

结论

我们不仅发现了语言建模的进步,还发现了 Llama 3 的有用实现策略。现在,由于采用了 HuggingFace Transformers 和 Ollama 等技术,现在可以在本地运行 Llama 3,这为各行各业开辟了广泛的应用。展望未来,Llama 3 的开源设计鼓励创新和可访问性,为世界各地的开发人员都可以访问高级语言模型打开了大门。

关键要点
  • Meta 推出了 Llama 3 系列模型,其中包含四个模型、8B 和 70B 预训练和指令调整模型。
  • 这些模型在各自重量类别的多个基准测试中表现非常出色。
  • Llama 3 现在使用与 Llama 2 不同的分词器,但增加了声音大小。现在,所模型都配备了分组查询注意力 (GQA),以便更好地生成文本。
  • 虽然这些模型很大,但可以使用Llama和HiggingFace Transformers等开源工具使用量化在消费类硬件上运行它们。

本文中显示的媒体不归 Analytics Vidhya 所有,由作者自行决定使用。
来源:https://www.analyticsvidhya.com/blog/2024/04/how-to-run-llama-3-locally/
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/493326
推荐阅读
相关标签
  

闽ICP备14008679号