当前位置:   article > 正文

一分钱不花!手把手教你部署Google最强开源AI大模型Gemma教程_谷歌 开源 ai 框架_如何在服务器上部署一个开源ai模型

如何在服务器上部署一个开源ai模型

运行以下命令(这里以7b为例): ollama run gemma:7b

等待部署完成后即可开始使用 Gemma,这里是交互式使用,接下来继续安装openweb-ui

在这里插入图片描述在这里插入图片描述

第四步:部署 open-webui

可以选择新建一个终端,运行的gemma不要停

在这里插入图片描述

  1. 部署 Docker(根据不同系统安装 Docker)。
sudo apt install docker.io

  • 1
  • 2

在这里插入图片描述
2. 运行以下命令安装 open-webui(请注意镜像地址,这是使用的是速度快的国内源):

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

  • 1
  • 2

在这里插入图片描述

  1. 启动容器(启动之后需要稍等1-2分钟,下载必要文件):
sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui

  • 1
  • 2

在这里插入图片描述
4. 访问 IP:3000 进入 open-webui,注册账号(第一次注册的账号默认为管理员)。
在这里插入图片描述
完美启动
在这里插入图片描述

  1. 在模型中检查 Ollama 连接状态是否成功.

在这里插入图片描述

  1. 点击头像进入管理员面板,将新用户默认改为用户(按需修改),省去用户需要审核的流程
    在这里插入图片描述

完美部署!

在这里插入图片描述

作为轻量化模型的存在8G显存即可运行7B模型,2B模型更是不需要显卡就可以流畅运行在这里插入图片描述
注意:

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Linux运维工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
img

最全的Linux教程,Linux从入门到精通

======================

  1. linux从入门到精通(第2版)

  2. Linux系统移植

  3. Linux驱动开发入门与实战

  4. LINUX 系统移植 第2版

  5. Linux开源网络全栈详解 从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷,并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本,循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘,内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件,供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读,同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!*
[外链图片转存中…(img-6XYXQDkW-1712602496675)]

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/575539
推荐阅读
相关标签
  

闽ICP备14008679号