当前位置:   article > 正文

本地部署Llama3 8b用Ollama和open-webui_如何安装llama38b

如何安装llama38b

1. 下载安装 ollama

在这里插入图片描述
Ollama 启动后在右下角的状态栏里面有
在这里插入图片描述

2. 左下角搜索框输入 启用或关闭 Windows 功能

在这里插入图片描述

勾选 适用于Linux的Windows 子系统, 确定 并重启电脑。
在这里插入图片描述

3. 安装 Open-WebUI执行命令

在这里插入图片描述
需要安装Docker

笔者笔记本有GPU所以用下面的命令

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
  • 1

CPU请用下面的命名

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  • 1

在这里插入图片描述
打开运行地址:
http://localhost:3000

先随便注册一个账户
在这里插入图片描述
进入主页
在这里插入图片描述
目前还没有部署Model

在这里插入图片描述
设置模型 Settings > Models > Pull a model from Ollama.com
在这里插入图片描述
https://ollama.com/library
在这里插入图片描述点击llama3 , 由于笔记本GPU的限制只能部署8b 的 llama3, 4.7GB
在这里插入图片描述
填写llama3:8b, 点击下载
在这里插入图片描述
下载完成后,选择 llama3:8b
在这里插入图片描述
回到首页选择llama3:8b 模型

问题: 鸡兔同笼,鸡有100只,鸡足比兔足多80只,鸡兔分别有多少只?

作答理解成鸡足有100只了,回答的也不对。。,默认是英文
在这里插入图片描述
翻译成中文

在这里插入图片描述
后续请用中文交流
在这里插入图片描述

自由女神像每天一动不动,她真的自由么?

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/584825
推荐阅读
相关标签
  

闽ICP备14008679号