5分钟在MAC下本地搭建大模型_ollma macos

一、安装ollma

Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。
Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。Ollama 还提供了一种名为 Modelfile 的文件格式，开发者可以使用它来定义和创建自定义模型。

Download Ollama on macOS

1.1 运行一个离线大模型

这里以中文支持的比较好的阿里qwen-7b大模型为例，

ollama run qwen:7b
1

也可以去这里看看其他的开源大模型

library

可以直接在terminal里和大模型对话了，并且可以满足基本的需求

二、 部署Open WebUI

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。**它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。

2.1 首先创建一个虚拟环境

这里命名为ollama，创建虚拟环境的目的是隔离本地的python环境

conda create -n ollama python=3.11
conda activate ollama
1
2
3

2.2 构建并安装

git clone https://github.com/open-webui/open-webui.git
cd open-webui/

# Copying required .env file
cp -RPp .env.example .env

# Building Frontend Using Node
npm i
npm run build

# Serving Frontend with the Backend
cd ./backend
pip install -r requirements.txt -U
# 随意指定一个端口
uvicorn main:app --host 0.0.0.0 --port 8899
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

2.3 然后输入网址访问

这个界面和chatGPT几乎一摸一样，用起来非常的丝滑。