当前位置:   article > 正文

Ollama入门(windows版本)_windows 离线安装ollama

windows 离线安装ollama

一、简介

通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型,如gemma。
在这里插入图片描述

二、安装方式

1、访问官网,点击【Download】进行下载https://ollama.com/
2、目前支持Linux、Mac和windows
3、github链接:https://github.com/ollama/ollama
在这里插入图片描述

三、下载并运行模型(命令行方式)

1、点击【View logs】进入ollama目录
2、运行gemma:2b模型(如未下载,会自动下载)
3、提问

ollama run gemma:2b
  • 1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、webapi方式运行

1、webapi方式运行

./ollama serve
  • 1

2、如需指定端口,可在环境变量中进行配置
在这里插入图片描述
3、安装openai工具包

pip install openai
  • 1

4、openai格式调用ollama部署的接口

import openai
# 设置api_base
openai.api_key = "111" #不可为空,为空会报错
openai.api_base = "http://127.0.0.1:8000/v1"
# 2. 设置提示词
prompt = """
你是谁?

"""

# 3.调用(可切换模型)
# resp = openai.ChatCompletion.create(model="llama2", messages=[{"role": "user", "content": prompt}], stream = False)
resp = openai.ChatCompletion.create(model="llama2-chinese", messages=[{"role": "user", "content": prompt}], stream = False)
# resp = openai.ChatCompletion.create(model="gemma:7b", messages=[{"role": "user", "content": prompt}], stream = False)

# 4.输出
print(resp.choices[0].message.content)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/462323
推荐阅读
相关标签
  

闽ICP备14008679号