Ollama 配置多并发和多模型_ollama 并发

ollama新版已经支持了并发和多模型同时运行了， 系统资源够的可以走起了
默认的ollama服务是不支持的， 需要自己进行调整， 调整的方式如下：

Linux为例

1. 通过调用 编辑 systemd 服务systemctleditollama.service 这将打开一个编辑器。

vim /etc/systemd/system/ollama.service
1

在[Service]部分下对于每个环境变量添加一行Environment， 如下所示

[Service]
Environment="OLLAMA_NUM_PARALLEL=4" #并行处理请求的数量
Environment="OLLAMA_MAX_LOADED_MODELS=4" #同时加载的模型数量
1
2
3

2. 保存并退出。

3 . 重新加载systemd并重新启动 Olama：

sudo systemctl daemon-reload
sudo systemctl restart ollama
1
2

在restart ollama前一定要调用daemon reload， 不然不会起作用。

测试结果：