>> hiHello!更多示例,请参考examples目录。有关使用Modelfile的更多信息,请参考Modelfile文档。_ollama 导入gguf windows">
当前位置:   article > 正文

win10安装ollama部署本地模型_ollama 导入gguf windows

ollama 导入gguf windows

win10安装ollama部署本地模型

安装下载模型

  1. 下载ollama
    https://ollama.com/download
  2. 安装运行后右下角有ollama图标,然后打开win10的PowerShell,执行ollama测试是否安装,正常安装会显示ollama的指令说明。
  3. 打开https://ollama.com/library
    找到你想用的模型直接运行命令ollama run [模型名]类似docker会自动下载并运行。
    例如 ollama run llama2-chinese 这个是网友中文微调过的
    下载运行后可直接shell里对话,按ctrl+d退出对话,但是服务并未停止,右下角图标推出,再打开ollama快捷图标会自动加载运行刚才的模型;
    所以当你多个模型时可通过环境变量OLLAMA_MODELS设定具体模型目录决定默认模型;

修改默认下载路径

默认下载模型路径C:\Users<username>.ollama\models
修改win的系统环境变量,添加OLLAMA_MODELS值为你自定义的目录

第三方客户端

默认本机服务地址http://localhost:11434 可以在安装 Ollama 的系统中直接调用。如果要在网络中其它终端调用,修改API 的侦听地址和端口,修改环境变量要重启ollama。

  1. 以管理员权限打开系统环境变量
    C:\Windows\system32\rundll32.exe sysdm.cpl, EditEnvironmentVariables
    如果你系统本身是管理员可忽略这条cmd命令。
  2. 添加环境变量,变量名OLLAMA_HOST,值0.0.0.0:8080;端口可自定义,如果只填:8080会侦听所有的IPV4\V6的8080端口
  3. 如果要在web客户端使用因为浏览器安全限制,还要添加OLLAMA_ORIGINS变量,值为*

导入自定义模型

支持在 Modelfile 中导入 GGUF 模型
GGUF下载网站

  1. 创建一个后缀名为 Modelfile 的文件,名字随意,如zdy.Modelfile;内容写入使用 FROM 指令指定要导入的模型的本地文件路径
    例如:FROM e:\down\vicuna-33b.Q4_0.gguf
  2. 导入创建模型;example是导入模型的名称随意;-f意思指定Molelfile文件;填入Modelfile文件路径;
    ollama create example -f d:\zdy.Modelfile
    导入过程有点慢,提示transferring model data代表正在导入。导入成功后提示如下

using existing layer sha256:aeec5c76f5d914ffc5b93cf7197b914be97c1580592a6eb368dc36c8c0c12f28
creating new layer sha256:548da157cbc544bbccc16f240679d2471d4386214645e86dc004a9be98e1f708
writing manifest
success

  1. 运行模型ollama run example
还可自定义模型角色
  1. 创建Modelfile文件
FROM llama2

# 设置温度为 1 [值越高越有创造性,值越低越连贯]
PARAMETER temperature 1

# 设置系统消息
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  1. 运行模型
ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.
  • 1
  • 2
  • 3
  • 4

更多示例,请参考examples目录。有关使用 Modelfile 的更多信息,请参考Modelfile文档

常用指令

查看 Ollama 版本

ollama -v

查看已安装的模型

ollama list

删除指定模型

ollama rm [modelname]

注意

  1. 运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存
  2. 常见问题:https://zhuanlan.zhihu.com/p/696952685
  3. win版本会自动识别显卡用GPU加速

详细使用:https://blog.csdn.net/wjjc1017/article/details/137734467

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/821660
推荐阅读
相关标签
  

闽ICP备14008679号