当前位置:   article > 正文

win本地运行llm(借助于ollama)_ollama可以用python启动吗

ollama可以用python启动吗

一、准备工作

1、下载ollama

官网链接:Ollama

常见指令链接:GitHub - ollama/ollama: Get up and running with Llama 2, Mistral, Gemma, and other large language models.

2、llama2为例子

ollama run llama2

接下来就可以下载,在终端进行一些简单的对话。

二、client.py连接(本地pycharm运行)

1、启动ollama,并且保证ollama里面有llama2大模型,采用指令。

ollama list

2、ollama的默认接口是127.0.0.1:11434

用python简单的网络连接的代码为:

  1. import json
  2. import requests
  3. # NOTE: ollama must be running for this to work, start the ollama app or run `ollama serve`
  4. model = "llama2" # TODO: update this for whatever model you wish to use
  5. def chat(messages):
  6. r = requests.post(
  7. "http://127.0.0.1:11434/api/chat",
  8. json={"model": model, "messages": messages, "stream": True},
  9. )
  10. r.raise_for_status()
  11. output = ""
  12. for line in r.iter_lines():
  13. body = json.loads(line)
  14. if "error" in body:
  15. raise Exception(body["error"])
  16. if body.get("done") is False:
  17. message = body.get("message", "")
  18. content = message.get("content", "")
  19. output += content
  20. # the response streams one token at a time, print that as we receive it
  21. print(content, end="", flush=True)
  22. if body.get("done", False):
  23. message["content"] = output
  24. return message
  25. def main():
  26. messages = []
  27. while True:
  28. user_input = input("Enter a prompt: ")
  29. if not user_input:
  30. exit()
  31. print()
  32. messages.append({"role": "user", "content": user_input})
  33. message = chat(messages)
  34. messages.append(message)
  35. print("\n\n")
  36. if __name__ == "__main__":
  37. main()

启动后可以,进行一系列对话。

注:网络要保证稳定,确定没有其他进程在连接11434端口,最好不要挂着梯子用,不然都会容易报错失败。

3、运行效果

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/768453
推荐阅读
相关标签
  

闽ICP备14008679号