Ollama 可以在 Windows 上运行了

作者：小小林熬夜学编程 | 2024-04-07 14:00:55

踩

ollama

0. 引言

Ollama 终于可以在 Windows 上运行了，一直以来都是 “Coming soon”。
在这里插入图片描述
运行 Mixtral 8*7B 试了一下，推理速度和推理效果都很不错。

而且模型的下载速度也很快，我用的联通1000M网络，大概90M~150M/s波动。

在这里插入图片描述

访问 https://ollama.com/download，选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

在这里插入图片描述

双击下载的 “OllamaSetup.exe”，直接安装就可以了。

访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。

下面以允许 qwen 为例，我们要运行 7b 的模型，

在这里插入图片描述

拷贝上面红框的命令并运行，

ollama run qwen:7b
1

问一个问题试试，

在这里插入图片描述

Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。

还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
1
2

在系统环境变量里设置了 OLLAMA_MODELS，但是执行 ollama ls 不能正确显示 OLLAMA_MODELS 设置的路径下面的模型。

经过各种尝试，发现是 wsl-ubuntu 里面安装的 ollama 影响了 windows 的 ollama。

解决方法，登录到 wsl-ubuntu，执行，

systemctl stop ollama
systemctl disable ollama
1
2

完结！

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/378974