赞
踩
open-interpreter可以使用各种大模型来当基座,也可以使用本地的大模型。
但当我使用Ollama安装好llama3:8b时,用"http://192.168.0.113:8000/api"直接调用api时,却不停的报错:
用这个命令行启动时:
interpreter --api_base "http://192.168.0.113:8000/api" --api_key "fake_key"
是报这个错误:
raise NotFoundError(
litellm.exceptions.NotFoundError: OpenAIException - 404 page not found
加上指定模型后:
interpreter --api_base "http://192.168.0.113:8000/api" --api_key "fake_key" --model ollama/llama3:8b -y
是报这个错误:
httpx.ResponseNotRead: Attempted to access streaming response content, without having called `read()`.
最后终于发现启动命令应该是这个,才是正确的:
interpreter --api_base "http://192.168.0.113:8000/api/generate" --api_key "fake_key" --model ollama/llama3:8b -y
正确的调用方法是http://192.168.0.113:8000/api/generate
如果调用的是微软最新的phi3,则直接使用:
interpreter --api_base "http://192.168.0.113:8000/api/generate" --api_key "fake_key" --model ollama/phi3 -y
至此,完美解决open-interpreter调用Ollama各种模型出错的问题。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。