在本地部署Ollama服务接口附加OpenWebUI做测试_ollama端口

使用Ollama在本地部署一个类似openai的API做开发和测试

1、准备一个旧电脑

因为配置要求不高，五年前的电脑都能使用，装一块旧显卡，显存大一点的最好有8G。实在没显卡也没关系，电脑内存大也能运行，无非运行的慢一些不影响开发测试。在电脑上安装centos stream 9 服务器带界面版，装上显卡驱动，没有显卡的只装系统就行了。配置好能上网（本篇不用科学上网）。

2、安装ollama

随便一个目录下，执行如下命令：

 # curl -fsSL https://ollama.com/install.sh | sh

显示如下：表示安装成功
>>> Downloading ollama...
######################################################################## 100.0%##O#-#                                                                        
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

查看ollama的状态
# systemctl status ollama
安装成功后执行ollama -v命令，查看版本信息，如果可以显示则代表已经安装好
# ollama -v
ollama version is 0.2.20

ollama安装完成后只能本机访问，如需外网访问，还要配置一下，或者使用代理转发来解决跨域访问问题。

cd到目录/etc/systemd/system下:vim ollama.service，在[Service]标签下添加如下两行并保存：
Environment="OLLAMA_HOST=:11434"
Environment="OLLAMA_ORIGINS=*"

这两行是解决其它电脑访问和跨域问题。注意版本号低于0.2.20的不支持IPv6，端口前面要加IP：0.0.0.0

重启服务：

# systemctl daemon-reload

# systemctl restart ollama.service

如不想修改服务器文件可设置代理。

3、加一个Qwen2模型测试

如果显卡大可以选个大模型。

# ollama pull qwen2:7b //拉取一个模型，7b是中型的需要6G显存，也可以拉1.5b或0.5b的2G显存够了。

测试运行：

$ ollama run qwen2   

启动完毕，到此其实我们已经有了一个控制台对话界面，已可以与Qwen2-7B对话了，/bye 退出。

至此就部署完毕，下面测试。

4、测试接口：可以用POST工具

这里推荐apipost软件。

ollama提供openai一样的API接口：
http://192.168.0.1:11434/v1/chat/completions
调用方式也是一样的：POST，认证选Bearer可以填ollama或其它，其实并不验证，只是为了与接口格式相兼容。
 {"Content-Type": "application/json", Authorization: "Bearer ollama" }
{
    "model": "Qwen2-7B",
    "messages": [
        {
            "role": "system",
            "content": "你是一个智能机器人助手，请帮助回答问题。"
        },
        {
            "role": "user",
            "content":"你好"
        }
    ],
    "temperature": 0.8,
    "top_p": 0.8,
    "max_tokens": 1024,
    "echo": false,
    "stream": false, //如果是true会有吐字效果；否则所有字都生成才返回。
    "repetition_penalty": 1.1

}
返回内容：跟据是否stream为true或false，格式有所不同，在开发时注意choices下面是message还是delta。

5、使用OpenWebUI测试

安装Open WebUI，可用三种方法：

第一种是使用docker，我本不喜欢docker这个命令就不推荐这个方法了。这种方式网上一搜有一堆都是这种方法安装的。

第二种是使用git：环境要求：Node.js >= 20.10 和 Bun >= 1.0.21  并且 Python >= 3.11，不会装环境的参考后面第6条。

使用如下命令安装：没git命令可以yum install git安装一个。
$ git clone https://github.com/open-webui/open-webui.git
$ cd open-webui/

# 复制一份 .env 目录和文件
$ cp -RPp .env.example .env

# 用node编绎前端
$ npm i
$ npm run build

# 安装后端所需包
$ cd ./backend
下面这步要注意了：！！！如果不使用国内源，一天可能都在装包，不是吓唬，是真的包很多很慢。
如果网速不好，一定换国内源，如下：
$ pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装包：

$ pip install -r requirements.txt -U

启动：
$ bash start.sh

运行不出错的话 http://localhost:8080/ ，但是不用科学上网的一定会出错