使用Ollama本地部署大模型

Ollama 是一个简明易用的本地大模型运行框架，目前已经有 32 K star。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了，使用 Ollama 本地部署大模型在 mac 上尤其简单

• GitHub地址：https://github.com/ollama/ollama

安装 Ollama

macOS

Download

Windows

目前还没有快速安装，后边会出 WSL2 安装版

Linux & WSL2

curl https://ollama.ai/install.sh | sh
1

手工安装

安装之后，使用一条命令就可以运行大模型了，比如 llama2

ollama run llama2
1

安装后便可以直接使用

注意: 应该至少有8 GB 的 RAM 可用于运行7B 型号，16 GB 可用于运行13B 型号，32 GB 可用于运行33B 型号

web 交互

安装好之后便可以命令行的形式使用，若是觉得命令行的形式不够易用，Ollama 有一系列的周边工具可供使用，包含了网页、桌面、终端等交互界面及诸多插件和拓展

Ollama WebUI 具有最接近 ChatGPT 的界面和最丰富的功能特性，可以 Docker 部署

安装

1. 安装 Docker

2. 确保已经安装了最新的 Ollama

3. Docker 启动

   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main
   1

   要自己构建容器，请遵循以下步骤

   docker build -t ollama-webui .
   docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama-webui:/app/backend/data --name ollama-webui --restart always ollama-webui
   1
   2

   启动之后可以访问 http://localhost:3000

选择我们之前安装的模型即可

除了安装在自己的电脑上，ollama webui 还提供了多种安装方式，如：不同机器安装、一起安装 Ollama 和 Ollama Web UI