当前位置:   article > 正文

Windows里使用ollama本地大模型部署_windows 部署大模型

windows 部署大模型

下载

ollama官网进行下载
在这里插入图片描述

下载完后下一步下一步即可

安装完成后验证是否成功,打开命令行输入ollama,有该指令即安装成功
在这里插入图片描述

环境变量配置

  • 配置模型下载位置
    看自己电脑硬盘情况配置
    在这里插入图片描述

  • 打开所有ip接口访问权限
    如果想要远程调用ollama接口,那就需要次配置,如果只是本地访问,忽略
    在这里插入图片描述

ps: 如果已经打开了ollama,需要重启ollama才能生效!!!

安装大模型

回到官网,点击右上角的models在这里插入图片描述

在这里插入图片描述
选择自己想要的模型,点进去
在这里插入图片描述

在命令行中执行对应的命令即可

在这里插入图片描述
安装完成后即可在命令行进行对话

安装图形化界面

在ollama的github的介绍上面,有多个已经适配了ollama的web可以选择

在这里插入图片描述

这里选open-webul为例,找到对应的github仓库,安装文档安装,这里选择docker安装
在这里插入图片描述

在这里插入图片描述
我配置的的映射端口是4000,如果按github上的脚本是3000
浏览器输入地址打开对应的网页
在这里插入图片描述
第一次进入要注册,首次注册的是管理员账号
然后就可以聊天了

api访问

ollama接口文档

如果是本地访问,直接调用11434端口即可
在这里插入图片描述
如果是外部访问,需要配置上面的第二条环境变量
在这里插入图片描述
然后就可以发请求玩了

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/732325
推荐阅读
相关标签
  

闽ICP备14008679号