一分钱不花！手把手教你部署Google最强开源AI大模型Gemma教程_google开源项目

一分钱不花！本地部署Google最强开源AI大模型Gemma教程
半个多月前，谷歌搞了一波突然袭击，毫无预兆地发布了新一代AI模型Gemma，并宣称这是全球性能最强大的轻量级开源系列模型。

经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。

介绍

Ollama：是一款能够在本地快速搭建大型模型的工具，使用户能够轻松进行模型部署和使用。

• 官网：https://ollama.com/
• GitHub：https://github.com/ollama/ollama

Gemma：是由谷歌开源的一种大型模型。

open-webui：是一个优秀的大型模型 Web 用户界面，简化了模型部署和管理。

• GitHub：https://github.com/open-webui/open-webui

开始搭建（完整视频）

• 哔哩哔哩：https://www.bilibili.com/video/BV13m411k7yx/

第一步：前期准备

选择系统版本（短期实验可以使用腾讯云的竞价实例）

由于大型模型需要 GPU 进行运算，建议选择支持 GPU 显卡的服务器系统版本。本文选择的是 Ubuntu 22.04。

端口问题：

注意要放开相应端口，本次实验以放开全部端口示例
首次登录需要安装相应驱动，稍等即可


安装完成！

第二步：部署 Ollama

1. 使用以下命令安装 Ollama：

   curl -fsSL https://ollama.com/install.sh | sh
   1

   

速度可能因为网络慢一些，等待即可

2. 安装完成后，编辑 Ollama 的服务配置文件：

   sudo vi /etc/systemd/system/ollama.service
   1

在 `ExecStart=/usr/local/bin/ollama serve` 上面插入：
`Environment="OLLAMA_HOST=0.0.0.0:11434"`
1
2

3. 开放 API 端口（默认端口为 11434），并重启服务器。
   

4. 访问 ip:11434 查看 Ollama 是否成功部署。

第三步：部署 Gemma

运行以下命令(这里以7b为例)： ollama run gemma:7b

等待部署完成后即可开始使用 Gemma，这里是交互式使用，接下来继续安装openweb-ui

第四步：部署 open-webui

可以选择新建一个终端，运行的gemma不要停

1. 部署 Docker（根据不同系统安装 Docker）。

   sudo apt install docker.io
   1

   

2. 运行以下命令安装 open-webui（请注意镜像地址，这是使用的是速度快的国内源）：

   sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
   1

3. 启动容器(启动之后需要稍等1-2分钟，下载必要文件)：

   sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui
   1

4. 访问 IP:3000 进入 open-webui，注册账号（第一次注册的账号默认为管理员）。

完美启动

5. 在模型中检查 Ollama 连接状态是否成功.

7. 点击头像进入管理员面板，将新用户默认改为用户（按需修改），省去用户需要审核的流程
   

完美部署！

作为轻量化模型的存在8G显存即可运行7B模型，2B模型更是不需要显卡就可以流畅运行

注意：

经过实测，虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型，但是本地运行模式还是有其存在的意义的，对于私密性要求较强的用户，也可以在断网的情况下本地加载运行，不用担心相关信息泄露等等。