当前位置:   article > 正文

Ollama局域网内访问_ollama局域网访问

ollama局域网访问

Ollama的一些配置是通过环境变量控制的,那么无论是什么操作系统,都可以通过配置系统的环境变量或者通过设置临时的环境变量达到想要的结果,一些常用的环境变量如下:

  • OLLAMA_HOST:用来绑定OLLAMA的访问的IP和端口,这个其实很重要,用一些 Langchain、LLamaIndex等调用Ollama部署的模型的时候,都是通过这个配置的内容访问的。默认值“127.0.0.1:11434”,如果我们配置成“0.0.0.0:11434”,就可以让你局域网内的其他主机可以访问,但是要配合下面的环境变量一起使用。
  • OLLAMA_ORIGINS:这个是跨域源列表,说白了就是允许谁来访问,双引号中用英文都好分割。默认进本地可以访问,如果想让局域网内都可以访问,最好设置成“*”。
  • OLLAMA_MODELS:本地模型文件存储的位置,这个就按自己实际的模型位置设置,默认是存在当前用户目录下的.ollama/models或者/usr/share/ollama/.ollama/models
  • OLLAMA_KEEP_ALIVE:模型在现存中保持加载的持续时长,这个默认“5m”,按需加载或者释放显卡显存可以降低显卡的压力,但是会带来磁盘IO的增加。
  • OLLAMA_DEBUG:调试日志,默认是关闭的。如果设置成1,就是开始,会看到很多调试日志。

Windows的设置

Windows的环境变量的设置(windows10为例):
选择我的电脑点击右键,选择属性后点击高级系统设置就可以看到环境变量的按钮了,点击进入

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/1008455
推荐阅读
相关标签
  

闽ICP备14008679号