纯新手 docker Qwen Agent 部署_本地下载的模型连接qwen agent

 一、所需资源：

docker23

镜像：qwenllm/qwen:cu121

模型：Qwen-1_8B-Chat

Qwen-Agent

二、技巧

1、下载模型

使用下载的镜像，启动容器，使用modelscope命令下载

#模型下载

from modelscope import snapshot_download

model_dir = snapshot_download('qwen/Qwen-1_8B-Chat')

2、资源要求较高，建议显存8G以上

三、安装步骤

1、启动容器

挂载磁盘、映射端口

docker run   -itd --name qwlm-agent -p 7905:7905 -p 7864:7864 -p 7866:7866 -p 7863:7863 -p 8899:8888 -v E:/largeModule:/home/model qwenllm/qwen:cu121 /bin/bash

2、进入容器

略

3、部署模型服务

# cd /home

# 安装依赖
git clone git@github.com:QwenLM/Qwen.git
cd Qwen
pip install -r requirements.txt
pip install fastapi uvicorn "openai<1.0.0" "pydantic>=2.3.0" sse_starlette

# 启动模型服务，通过 -c 参数指定模型版本
# - 指定 --server-name 0.0.0.0 将允许其他机器访问您的模型服务
# - 指定 --server-name 127.0.0.1 则只允许部署模型的机器自身访问该模型服务
python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c /home/model/module/Qwen-1_8B-Chat > qwen.log 2>&1 &

查看日志

tail -f qwen.log

4、部署 agent 服务

# cd /home

# 安装依赖
git clone https://github.com/QwenLM/Qwen-Agent.git
cd Qwen-Agent
pip install -r requirements.txt

运行服务：

# 启动数据库服务，通过 --model_server 参数指定您在 Step 1 里部署好的模型服务
# - 若 Step 1 的机器 IP 为 123.45.67.89，则可指定 --model_server http://123.45.67.89:7905/v1
# - 若 Step 1 和 Step 2 是同一台机器，则可指定 --model_server http://127.0.0.1:7905/v1

python run_server.py --model_server http://127.0.0.1:7905/v1 -s 0.0.0.0 --workstation_port 7864 > agent.log 2>&1 &

查看日志

tail -f agent.log

7、本机浏览器访问

服务端运行信息：

    127.0.0.1:7864

【新手入门，多有遗漏，评论交流】

相关链接：

数据小黑/Qwen-Agent (gitee.com)