当前位置:   article > 正文

本地部署Ollama大模型框架可以运行本地大模型_ollama下载太慢

ollama下载太慢

本地部署Ollama

  • Ollama是一个开源的大型语言模型服务工具,它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型。软件地址:Download Ollama on Windows
  • 本地部署:
  1. 打开上述安装网址,选择windows,点击download for windows(preview)安装

  1. 下载完成后双击进行安装,按提示安装即可,无需额外操作。

  1. 修改环境变量(默认模型下载至C盘)右键此电脑选择属性->高级系统设置->环境变量->用户变量->新建

设置完成后重启电脑生效修改

  • 使用Ollama
  1. 搜索栏搜索打开,确保Ollama在任务栏

  1. 访问library (ollama.com),以 qwen-7b 为例,搜索qwen,选择运行 7b 的模型

  1. 打开cmd,将7b模型的下载命令键入并等待下载

  1. 前95%下载速度快,99%到100%速度较慢。当出现 Send a nessage 即可开始模型的使用

  1. 使用,如图

  1. 再次使用

在cmd输入运行代码(如ollama run qwen:7b)即可免下载安装直接使用(该模型在之前已安装成功)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/754846
推荐阅读
相关标签
  

闽ICP备14008679号