如何在本地部署运行Llama3_llama3 ollama 加载本地下载好的模型

Llama3 目前发布了8B和70B两种尺寸 huggingface Llama3模型主页：https://huggingface.co/meta-llama/ Github主页：https://github.com/meta-llama/llama3/tree/main ModelScope Llama3-8b模型主页：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B/summary

这里介绍下如何在本地 load Llama 3 models and run inference包括：

• 官方推荐的demo

• ollama

• LM Studio

• Jan AI

• GPT4All

• llama.cpp等方式

Quick Start

下载模型

• 通过https://github.com/meta-llama/llama3/tree/main?tab=readme-ov-file 的./download.sh进行下载

• 需要提前去Meta官网申请，获得一个url

• 通过Hugging face下载

pip install huggingface-hub   huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3-8B-Instruct   
1

• 也可以直接下载模型文件后上传到服务器

Run demo

# 1 create condo env for pytorch and CUDA   conda create -n py3.10-torch2.1 python=3.10   source activate   conda activate py3.10-torch2.1      # 2 下载项目及安装依赖   git clone https://github.com/meta-llama/llama3.git   export PIP_REQUIRE_VIRTUALENV=false   pip install -e .      # 3. 下载模型文件   # 注意使用官方示例时，使用的是meta-llama/Meta-Llama-3-8B/original 中的模型文件，包含16G的pth文件及params.json,tokenizer.model   # 4 run model locally   torchrun --nproc_per_node 1 example_text_completion.py --ckpt_dir Meta-Llama-3-8B/original/ --tokenizer_path Meta-Llama-3-8B/original/tokenizer.model --max_seq_len 512 --max_batch_size 6   
1

• 执行效果：

• 内存占用情况

除了可以使用上述方法进行部署调用外，也可以使用一些大模型部署和调用工具，来快速完成各类大模型部署。目前最常用的开源大模型部署和调用工具有两类，定位类似，但功能实现各有侧重。

• ollama 更加侧重于为个人用户提供更加便捷的开源模型部署和调用服务，ollama提供了openai风格的调用方法、GPU和CPU混合运行模式、以及更加便捷的显存管理方法，

• vLLM 更加适用于企业级应用场景，采用的是服务端和客户端分离的模式，更适合企业级项目使用。

Run with ollama

Ollama overview

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。设计用于在 Docker 容器中部署 LLM，帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 3

https://ollama.com/   # 参考   https://blog.csdn.net/walkskyer/article/details/137255596   
1

# for more details   https://github.com/ollama/ollama   # ollama 常用命令   ollama list：显示模型列表   ollama show：显示模型的信息   ollama pull：拉取模型   ollama push：推送模型   ollama cp：拷贝一个模型   ollama rm：删除一个模型   ollama run：运行一个模型   
1

支持将Ollama作为服务提供到网络环境中

# 默认127.0.0.1:11434   ollama serve   # 指定服务地址   OLLAMA_HOST=0.0.0.0:11434 ollama serve   
1

Install & run ollama

Install in Linux

# 下载安装   curl -fsSL https://ollama.com/install.sh | sh      # 安装完成后，执行如下命令 会自动去pull Llama3的模型，并运行，非常的便捷   ollama run llama3   # 这里如果要使用本地已经下载好的大模型，则需要编辑ollama配置文件   
1

Install in Mac

下载解压app安装即可

生成速度还是很快的

运行之后，项目默认监听 11434 端口，在终端执行如下命令可验证是否正常运行：

$ curl localhost:11434   Ollama is running   
1

Install in Windows

过程类似

调用API

# POST请求   http://localhost:11434/api/chat   # Body content   {     "model": "llama3:8b",     "messages": [       {         "role": "user",         "content": "why is the sky blue?"       }     ],     "stream": false   }   
1

Ollama支持多种Web端

这里以open webui为例https://community.hetzner.com/tutorials/ai-chatbot-with-ollama-and-open-webui#introduction

接入WebUI

1. 下载安装Dockerhttps://docs.docker.com/desktop/install/mac-install/，注意安装Docker需要Mac版本大于12，否则可能出现打开Docker即关机重启的问题，升级到14.02即可解决

2. 启动ollama

3. Pull and run docker image

# https://docs.openwebui.com/getting-started/   # 如果ollama在你本地 那么直接运行下面的命令即可   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main   
1

4. open Docker Desktop and browse to login page via docker container

5. 如果你第一次登陆,那么需要你注册登陆一下，否则可以直接输入用户密码进行登录

6. 登陆成功

7. 选择你要使用的模型，比如llama3，然后可以开始和模型正常交流了

调用phi3

• 通过ollama下载phi3模型

• Restart docker，此时可选择的模型则会出现新下载的phi3

Run with LM Studio

• https://lmstudio.ai/

• 下载安装完成后，下载模型

• 下载完成后选择要体验的模型，点击 AI chat

Run with Jan AI

• https://jan.ai/

Run with GPT4All

• https://gpt4all.io/index.html

Run with llama.cpp with IPEX-LLM

• https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/llama3_llamacpp_ollama_quickstart.html

• Install IPEX-LLM for llama.cpp and Initialize Visit Run llama.cpp with IPEX-LLM on Intel GPU Guide, and follow the instructions in section Prerequisites to setup and section Install IPEX-LLM for llama.cpp to install the IPEX-LLM with llama.cpp binaries, then follow the instructions in section Initialize llama.cpp with IPEX-LLM to initialize. After above steps, you should have created a conda environment, named llm-cpp for instance and have llama.cpp binaries in your current directory. Now you can use these executable files by standard llama.cpp usage.

• Download Llama3

• Run

source /opt/intel/oneapi/setvars.sh   ./main -m <model_dir>/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf -n 32 --prompt "Once upon a time, there existed a little girl who liked to have adventures. She wanted to go to places and meet new people, and have fun doing something" -t 8 -e -ngl 33 --color --no-mmap      ./main -ngl 33 -c 0 --interactive-first --color -e --in-prefix '<|start_header_id|>user<|end_header_id|>\n\n' --in-suffix '<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n' -r '<|eot_id|>' -m <model_dir>/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf   
1

Use Gradio

• https://colab.research.google.com/drive/1Z2x2ujqyGeefSUPGp31ij5dnrOSvoifq?usp=sharing#scrollTo=w6rEsdO_IxPV

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！